흙수저의 엔지니어링

GNS3에 VM들과 통신할 수 있는 랜을 추가하는 방법입니다.

GNS3에 Network Device를 추가해도 proxmox에 연결된 VM들과 통신하기 위해서는 proxmox에도 랜을 추가해 줘야 합니다. 아래 글 참조하세요.

https://dirt-spoon.tistory.com/310

proxmox에서 GNS3서버에 Network Device를 추가합니다.

제가 추가한 Device의 정보입니다.

추가된 랜은 GNS3 서버에서 ifconfig로 추가된 디바이스 명 (eth0, eth1 등)을 확인해 줍니다.

저는 eth1로 확인됐습니다.

이후 GNS3의 콘솔에서 Netowrk 매뉴를 통해 eth1의 IP 설정을 해줍니다.

아래 처럼 설정하시면 됩니다.

이후 내부 네트워크 대역은 GNS3의 VM이나 proxmox의 VM들은 Gateway를 10.10.10.1로 설정하면 됩니다.

proxmox를 통해서 fortigate 설치를 한 적이 있습니다.

(https://dirt-spoon.tistory.com/283 참조)

그런데, 저렇게 설치만 하면 테스트 할만한게 거의 없습니다.

그래서 제대로 fortigate를 테스트 할 수 있게 GNS3에 fortigate를 구축해보려합니다.

먼저, fortigate VM을 다운로드 합니다.

다운로드된 파일을 아래 화면처럼 압축을 풀어둡니다.

GNS3를 실행하여 아래처럼 선택해 줍니다.

위의 화면에서 클릭을 하면 아래 화면처럼 Version name 화면이 나옵니다.

다운로드된 fortigate 버전으로 수정해 줍니다.

위의 화면처럼 뜨면 아래 화면처럼 버전만 변경해 줍니다.

아래 화면에서는 그냥 "OK"를 눌러줍니다.

이후 화면을 맨 아래로 내리면 아래의 그림처럼 보입니다.

저는 이미 설치했던 이력이 있어서 자동으로 탐지하는 건지 처음부터 아래 화면처럼 보이는지 모르겠네요.

어쨌든, 처음에 다운로드 받은 파일을 import 하고 넘어가겠습니다.

이후 아래의 Fortigate 버전을 선택하고 다음으로 넘어갑니다.

설치 완료입니다.

원하는 네트워크의 분리를 위해서 내부 랜을 추가합니다.

저 같은 경우에는 GNS3에서 사용할 별도의 랜을 추가하려고 합니다.

 IPv4/CIDR 항목에 사용하고 싶은 IP 대역을 입력하면 됩니다.

Bridge Ports 항목은 사용하고 싶은 IP 대역이 인터넷이 되게하려면 입력하면 됩니다.

현재 제가 설정한 인터페이스 환경입니다.

multiotp 라는 게 있네요.

RDP 서비스에 2factor를 적용합니다.

신기방기... 이제 외부에서 그냥 RDP 접속할 수 있게 해도 되는....쿨럭...

문제가 발생하여 삭제하려면, 안전모드에서 해당 프로그램 삭제하면 됩니다. (저는 안해봤어요~)

아래 웹페이지에서 빨간색으로 표시한 링크를 따라가보세요.

https://github.com/multiOTP/multiotp/wiki

다운로드 페이지를 들어가서 화면 맨 아래로 내리면 다운로드 파일이 있습니다.

압축풀면 아래 파일 2개가 나옵니다.

설치파일로 설치하세요~

위의 바코드를 구글 OTP 같은 프로그램을 통해서 등록하시면 됩니다.

이후 로그인 할 때 아래와 같이 OTP를 추가 입력하라고 나옵니다.

이제 외부에서도 윈도우 접근 시 안전하게 접속이 가능하게 됩니다~~

아래 GNS3 사이트에서 vm 이미지 다운로드하기

https://www.gns3.com/software/download-vm

다운로드 받은 파일은 proxmox 서버에 업로드가 필요합니다.

확장자를 iso로 올려주신 후 파일을 proxmox 서버에 올려주시면 됩니다. (편법)

파일 업로드 후 아래 명령어로 파일 압축 해제 및 파일명 변경을 합니다.

(파일에 쉼표가 있어서 인식이 어려울 수 있어서 변경 해주는 것이 좋습니다.)

이후 폴더를 만들어 해당 파일을 복사한 후, tar 압축을 풀어줍니다.

root@13500T:~# mv /var/lib/vz/template/iso/GNS3.VM.VMware.Workstation.2.2.49.zip.iso .
root@13500T:~# mv ./GNS3.VM.VMware.Workstation.2.2.49.zip.iso ./GNS3.VM.VMware.Workstation.2.2.49.zip
root@13500T:~# unzip ./GNS3.VM.VMware.Workstation.2.2.49.zip 
Archive:  ./GNS3.VM.VMware.Workstation.2.2.49.zip
  inflating: GNS3 VM.ova             
root@13500T:~# ls 
 fortios.qcow2   GNS3.VM.VMware.Workstation.2.2.49.zip   OSX-PROXMOX
'GNS3 VM.ova'    i915-sriov-dkms
root@13500T:~# mv "GNS3 VM.ova" ./GNS3_VM.ova
root@13500T:~# ls
fortios.qcow2  GNS3.VM.VMware.Workstation.2.2.49.zip  OSX-PROXMOX
GNS3_VM.ova    i915-sriov-dkms
root@13500T:~# mkdir GNS3_VM
root@13500T:~# mv ./GNS3_VM.ova ./GNS3_VM
root@13500T:~# cd GNS3_VM
root@13500T:~/GNS3_VM# tar xvf ./GNS3_VM.ova
GNS3 VM.ovf
GNS3 VM.mf
GNS3_VM-disk1.vmdk
GNS3_VM-disk2.vmdk
root@13500T:~/GNS3_VM#

이후 vm을 하나 생성해줍니다. 아래는 제가 생성한 vm입니다.

vm 생성시 디스크 용량은 1GB로 하셔도 됩니다. (생성 후 삭제할 디스크 입니다.)

vm 생성 후 바로 디스크 삭제하시면 됩니다.

이후에 vm 생성 후 아래 명령어를 통해 디스크를 추가해주세요.

root@13500T:~# ls
fortios.qcow2  GNS3.VM.VMware.Workstation.2.2.49.zip  OSX-PROXMOX
GNS3_VM        i915-sriov-dkms
root@13500T:~# cd GNS3_VM/
root@13500T:~/GNS3_VM# ls
 GNS3_VM-disk1.vmdk   GNS3_VM-disk2.vmdk  'GNS3 VM.mf'   GNS3_VM.ova  'GNS3 VM.ovf'
root@13500T:~/GNS3_VM# qm importdisk 202 GNS3_VM
GNS3_VM-disk1.vmdk  GNS3_VM-disk2.vmdk  GNS3_VM.ova         
root@13500T:~/GNS3_VM# qm importdisk 202 GNS3_VM
GNS3_VM-disk1.vmdk  GNS3_VM-disk2.vmdk  GNS3_VM.ova         
root@13500T:~/GNS3_VM# qm importdisk 202 GNS3_VM-disk1.vmdk local-zfs
importing disk 'GNS3_VM-disk1.vmdk' to VM 202 ...
transferred 0.0 B of 19.5 GiB (0.00%)
transferred 200.0 MiB of 19.5 GiB (1.00%)
Successfully imported disk as 'unused1:local-zfs:vm-202-disk-1'
root@13500T:~/GNS3_VM# qm importdisk 202 GNS3_VM-disk2.vmdk local-zfs
importing disk 'GNS3_VM-disk2.vmdk' to VM 202 ...
transferred 0.0 B of 488.3 GiB (0.00%)
transferred 5.7 GiB of 488.3 GiB (1.17%)
transferred 488.3 GiB of 488.3 GiB (100.00%)
Successfully imported disk as 'unused2:local-zfs:vm-202-disk-2'
root@13500T:~/GNS3_VM#

이후 디스크의 방식을 SCSI에서 IDE로 변경해 줍니다.

이후 부팅 순서를 ide0으로 잡아주시면 됩니다.

이후 VM 구동시키면 아래와 같이 정상적으로 부팅이 됩니다.

접속은 화면에 나온 정보로 접속을 하시면 아래와 같이 보이면 정상입니다.

macOS를 간단하게 설치하는 스크립트를 발견하여 설치해 봤습니다.

proxmox shell에서 아래 명령어를 실행합니다.

/bin/bash -c "$(curl -fsSL https://install.osx-proxmox.com)"

아래 화면처럼 기다리면, proxmox가 재시작됩니다.

재시작이 되면 위의 화면에서 안내 하는 것처럼 proxmox shell에서 osx-setup을 실행하면 됩니다.

osx-setup

명령어를 실행하면 아래의 화면처럼 보여집니다.

우선, 200을 입력하고, 다시 osx-setup 명령어를 실행한 후에 201을 입력하여 opencore를 설치합니다.

opencore를 설치하지 않고 진행하면 아래와 같이 설치 오류가 발생합니다.

recovery image를 "N"로 하면 아래와 같이 설치 오류가 발생합니다.

이 후에 원하는 macOS의 버전을 설치하면 됩니다.

참고로 저는 6 번으로 했습니다. (macOS Ventura - 13) / 7번으로 하니까 proxmox 콘솔에서 작동이 안되네요.

옵션 선택 후 아래처럼 VM의 스펙을 고르시면 됩니다.

옵션 지정 시 숫자만 입력됩니다. 숫자 이외 문자를 입력하니 오류납니다~

이후 proxmox 콘솔에서 실행하면 됩니다.

개인적으로 실행 전 Hardware를 보니 Network Device가 VMware vmxnet3 로 되어 있어 virtIO로 변경하였습니다.

이후 실행화면 입니다.

이후 그냥 엔터를 치면 설치화면으로 넘어가게 됩니다.

Disk Utility를 선택하여 설치 디스크 초기화를 진행합니다.

아래 그림과 같은 형태로 디스크를 포멧합니다.

Reinstall macOS Ventura를 선택하여 설치를 진행합니다.

이후 다 설치가 되면 재시작되고, 아래 매뉴가 보일겁니다.

여기에서 2번 선택하고 다시 설치합니다.

이후 다시 재부팅이 됩니다.

이번에는 2번 매뉴 이름이 변경되어 있습니다. 2번 매뉴 실행하시면 됩니다.

macOS Installer -> macOS

이번에는 아래의 화면처럼 나옵니다.

이제 보통의 macOS 설치 방법대로 진행하면 됩니다.

설치 완료 이후 가장 중요한 작업이 남아 있습니다.

현재 상태에서 재시작을 할 경우 OpenCore를 사용하여 부팅하고 있습니다.

그래서 매번 OpenCore Boot Menu를 통해서 부팅하게 됩니다.

이를 개선하기 위한 작업입니다.

아래의 사이트에서 MountEFI를 설치해 줍니다.

https://github.com/corpnewt/MountEFI

git clone https://github.com/corpnewt/MountEFI
cd MountEFI
chmod +x MountEFI.command
MountEFI.command

macOS 설치 후 처음 실행한다면 xcode가 없다고 설치한다고 나옵니다.

설치 후 재실행 시켜주시면 됩니다.

정상적으로 실행이 된다면 아래의 화면처럼 나옵니다.

화면에서 내 macOS가 설치되어 있는 드라이브를 선택해주면 됩니다.

저는 3번 입니다.

3번 실행 후 아래의 화면처럼 바뀌었습니다.

프로그램 종료 후 macOS를 종료한 후 아래의 화면처럼 디스크 디바이스를 없애셔도 됩니다.

이 후 macOS를 실행할 경우 처음처럼 OpenCore Menu가 보이지 않고 바로 부팅이 됩니다.

유용하여 글 남깁니다.

현재 사용 중인 버전은 proxmox 8.2 버전으로 i915-sriov-dkms가 제대로 작동되지 않아 커널버전을 6.5버전으로 다운그레이드를 해야 합니다.

이걸로 몇날 몇일을 고생한...

proxmox 8.2 버전의 커널은 6.8 버전입니다. 6.5 버전으로 다운그레이드 시켜주세요.

아래 명령어 실행 시 1개만 보이면 패스스루 안된겁니다.

커널 다운그레이드 해야 합니다.

root@13500T:~# lspci | grep VGA
00:02.0 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
root@13500T:~#

아래 처럼 보여야 합니다.

root@13500T:~# lspci | grep VGA
00:02.0 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
00:02.1 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
00:02.2 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
00:02.3 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
00:02.4 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
00:02.5 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
00:02.6 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
00:02.7 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
root@13500T:~#

커널 6.5 버전을 설치하기 위해서는 apt repository에 아래 명령어를 사용하여 추가 해야 합니다.

(파일의 맨 아래 것만 있으면 될 것 같은데, 확실하지 않아서 제 파일 내용 그대로 공유합니다.)

root@13500T:~# cat /etc/apt/sources.list
deb http://ftp.kr.debian.org/debian bookworm main contrib

deb http://ftp.kr.debian.org/debian bookworm-updates main contrib

# security updates
deb http://security.debian.org bookworm-security main contrib

deb http://download.proxmox.com/debian/pve bookworm pve-no-subscription

root@13500T:~#

아래 명령어를 통해 커널버전 신규로 설치하고 pin을 통해 변경되지 않도록 해줍니다.

apt update
apt install proxmox-headers-6.5.13-6-pve
apt install proxmox-kernel-6.5.13-6-pve-signed
proxmox-boot-tool kernel pin 6.5.13-6-pve
proxmox-boot-tool refresh
reboot

재부팅 후 i915-sriov-dkms를 빌드하기 위한 패키지들을 설치해줍니다.

apt update && apt install git sysfsutils pve-headers mokutil -y

dkms 저장소를 가져와서 설치를 진행합니다.

cd ~
git clone https://github.com/strongtz/i915-sriov-dkms.git
cd ~/i915-sriov-dkms
cp -a ~/i915-sriov-dkms/dkms.conf{,.bak}
sed -i 's/"@_PKGBASE@"/"i915-sriov-dkms"/g' ~/i915-sriov-dkms/dkms.conf
sed -i 's/"@PKGVER@"/"'"$KERNEL"'"/g' ~/i915-sriov-dkms/dkms.conf
sed -i 's/ -j$(nproc)//g' ~/i915-sriov-dkms/dkms.conf
cat ~/i915-sriov-dkms/dkms.conf

PACKAGE_NAME="i915-sriov-dkms"
PACKAGE_VERSION="6.5.13-6" <- 해당 라인에 커널 버전이 아닌 날짜가 나와있다면 수동으로 변경 필요

MAKE[0]="make -C ${kernel_source_dir} M=${dkms_tree}/${PACKAGE_NAME}/${PACKAGE_VERSION}/build"
CLEAN="make -C ${kernel_source_dir} M=${dkms_tree}/${PACKAGE_NAME}/${PACKAGE_VERSION}/build clean"

BUILT_MODULE_NAME[0]="i915"
DEST_MODULE_LOCATION[0]=/kernel/drivers/gpu/drm/i915

AUTOINSTALL=yes
BUILD_EXCLUSIVE_KERNEL="^(6\.[1-9]\.)"

apt install --reinstall dkms -y
dkms add .
dkms install -m i915-sriov-dkms -v $KERNEL -k $(uname -r) --force -j 1
mokutil --import /var/lib/dkms/mok.pub

GRUB 구성 변경 합니다

cp -a /etc/default/grub{,.bak}
sudo sed -i '/^GRUB_CMDLINE_LINUX_DEFAULT/c\GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt i915.enable_guc=3 i915.max_vfs=7"' /etc/default/grub
update-grub
update-initramfs -u -k all
apt install sysfsutils -y
echo "devices/pci0000:00/0000:00:02.0/sriov_numvfs = 7" > /etc/sysfs.conf
cat /etc/sysfs.conf

재부팅이 필요하며, 콘솔 모니터를 연결하여 설정 변경이 필요합니다.

Enroll MOK -> Continue -> YES 순으로 누르고 Reboot 실행합니다.

재부팅 된 후 아래 명령어를 통해 처음과 같이 한 줄이 아닌 여러 줄이 보이면 성공입니다.

root@13500T:~# lspci | grep VGA
00:02.0 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
00:02.1 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
00:02.2 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
00:02.3 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
00:02.4 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
00:02.5 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
00:02.6 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
00:02.7 VGA compatible controller: Intel Corporation AlderLake-S GT1 (rev 0c)
root@13500T:~#

웹 콘솔화면에서 필요한 VM에 아래와 같이 설정을 하신 후 Windows의 경우 RDP를 통하여 접속하시면 내장그래픽 카드의 패스스루가 성공된 것을 볼 수 있습니다.

저 처럼 삽질하지 마시고, 한번에 성공하시기 바랍니다.

윈도우즈가 stardard이면 아래처럼 하시면 됩니다.

slmgr.vbs -rearm

서버 재시작 후 오른쪽 하단을 보시면 아래와 같이 문구가 변경된 것을 볼 수 있습니다.

AD에 JOIN 후 프로그램 설치나, 이전 계정의 폴더를 접속하려고 하니 계속 계정 정보를 입력하라고 나옵니다.

이럴 경우 아래와 같이 설정을 하면 해당 이슈 해결됩니다.

설정 이유 컴퓨터를 재시작하거나 "gpupdate /force" 명령어를 적용해 주세요

회사에서 fortigate를 사용하고 있다면, 개인 계정으로도 support.fortinet.net에 가입하면 "FortiGate VM Trial" free license 버전을 제공받아 설치할 수 있습니다. (개인계정으로는 안 해 봤어요! ㅎㅎ)

(이 좋은 걸 몰랐네요!!)

그래서 proxmox에 fortigate를 올려보겠습니다.

FORTIGATE VM 다운로드하기

support.fortinet.com 로그인 → Firmware Download → 원하는 버전 클릭!

저는 해당 글 작성하는 기준으로 가장 최신 버전으로 다운로드를 받았습니다.

(이상하게 계속 다운로드 오류가 발생해서 7.4.3 버전으로 다운로드 받았습니다!!)

이미지 다운로드 후 proxmox 서버에 올리기

다운로드 받은 이미지

이름 변경한 이미지

어이 없게~ 확장자 바꾼다고 이미지로 올라갑니다!!

업로드된 이미지를 원래의 이름으로 변경하고 root 계정에 옮겨 놓습니다.

(proxmox에 파일 올리기 참 쉽죠~~)

VM 생성

Trial Version은 CPU가 1개만 지원하네요.

Trial Version은 Memory가 2048MB만 지원하네요.

VM 디스크 분리 및 삭제하기 (용량 아까워서)

"Detch" Click

"Remove" Click

VM에 fortigate 디스크 붙이기

생성한 fortigate vm의 "VM ID" 확인 (저는 900 입니다.)

root@my-data:~# qm disk import
400 not enough arguments
qm disk import <vmid> <source> <storage> [OPTIONS]

root@my-data:~# qm disk import 900 fortios.qcow2 local-zfs

# 900 <vmid>
# fortios.qcow2 <source>
# local-zfs <storage> <- 내가 설치한 파일시스템입니다.

"Edit" Click

"Add" Click

부팅 순서 변경하기

"Boot Order" Click

"scsi0" 으로 변경

"OK" Click

VM시작하기

로그인 하기

ID: admin

PW: 없음

IP 확인하기

FortiGate-VM64-KVM # show system interface ?

# 명령어 치면 DHCP로 설정된 IP 확인할 수 있습니다.

VM License 삭제하기

support.fortinet.com 로그인 → Products → Product List

※ FortiGate VM Trial VM이 이미 등록되어 있으면, 인증 오류 발생. (Trial VM은 1대만 가능)

※ 이미 등록 되어 있는 VM은 삭제

FortiGate VM Trial 의 "SERIAL NUMBER" Click

"Decommission This Unit" Click

"Check Box" Check 후 "Continue" Click

Trial VM 삭제 완료

위에서 설정한 ID/PW로 웹 페이지 접속

"Evaluation License" Click

support.fortinet.com의 ID/PW 입력

rebooting 후 웹페이지 재접속

드디어 설치가 끝!! 났네요.

역시 기록을 하니 복습이 되어 지식이 느네요~

이 후 부터는 알아서 하시리라 생각하겠습니다.

지식 없이 fortigate를 설치할 생각은 안 하실테니까요!!!