Kalimi i GPU-së (vDGA) në VMware: Një udhëzues i plotë

Lidhja e një GPU fizike direkt me një makinë virtuale në VMware Është një nga ato ndryshime që bën gjithë ndryshimin kur punohet me ngarkesa të mëdha grafike. IA ose renderim 3D. Kalimi nga një kartë grafike e emuluar në një qasje të drejtpërdrejtë nëpërmjet kalimit (vDGA / VMDirectPath I/O) mund ta afrojë performancën e VM-së me atë të një makine fizike, por në këmbim shton disa kërkesa dhe kufizime që duhet të jenë shumë të qarta para se të filloni.

Për më tepër, në ekosistemin aktual, bashkëjetojnë disa mënyra të përdorimit të GPU-së në mjedise të virtualizuara: Kalim i dedikuar, vGPU e përbashkët dhe teknologji si BitFusion ose ndarje GPUTë kuptuarit e asaj që bën secila prej tyre, në cilat raste përshtatet dhe si konfigurohet në vSphere/ESXi (dhe si lidhet me teknologji të ngjashme si Hyper-V DDA) është thelbësore për të mos hyrë në një rrugë pa krye me harduerin ose versionin e zgjedhur të hipervizorit.

Çfarë është kalimi i GPU-së (vDGA / VMDirectPath I/O) në VMware

Kalimi i GPU-së në VMware, i njohur edhe si vDGA ose VMDirectPath I/OKy është një modalitet funksionimi në të cilin një kartë grafike fizike e instaluar në hostin ESXi i caktohet direkt një makine virtuale. Në vend që të përdorë një përshtatës grafik të emuluar nga hipervizori, sistemi operativ mysafir e sheh GPU-në pothuajse sikur të ishte e lidhur me një motherboard fizik.

Kjo shkurtore i lejon VM-së të përfitojë gjithë fuqia e çipit grafik, memoria e tij video dhe veçoritë e përparuara siç janë CUDA, OpenCL, Direct3D dhe OpenGL në mënyrë native, me shumë pak mbingarkesë shtesë nga hipervizori. Në testet laboratorike të VMware, raportohet zakonisht një humbje e performancës prej rreth 4-5% krahasuar me përdorimin e të njëjtës GPU në mënyrë të pastër.

Në praktikë, përdorimi i kalimit të GPU-së do të thotë që Ajo kartë është tërësisht e dedikuar për një makinë të vetme virtuale.Nuk ka një ndarje të detajuar të burimeve midis shumë VM-ve, as nuk ka një shtresë softuerësh të palës së tretë të ngarkuar në ESXi për të ndarë kartën grafike, ndryshe nga ajo që ndodh me zgjidhjet vGPU si p.sh. NVIDIA RRJETA.

Është e rëndësishme të dallohet kjo qasje nga mënyrat e tjera të përdorimit të GPU-ve në virtualizim, siç është p.sh. NVIDIA vGPU (vGPU e përbashkët), RemoteFX/ndarje në zgjidhje të tipit Hyper-V ose BitFusion, të cilat kërkojnë të shpërndajnë një GPU ose një grup GPU-sh midis makinave të shumta me teknika të ndryshme virtualizimi ose ridrejtimi në distancë.

Kur flasim për vDGA në botën e VMware, në thelb po e përshkruajmë këtë caktimi i drejtpërdrejtë i pajisjes PCIe të GPU-së në VM duke përdorur VMDirectPath I/O, me të gjitha të mirat (performancën) dhe të këqijat (lëvizshmërinë dhe kufizimet e disponueshmërisë së lartë) që kjo përfshin.

Avantazhet e përdorimit të GPU passthrough në vSphere

Arsyeja kryesore për kalimin në vDGA është se Performanca e grafikës dhe e kompjuterit është shumë e ngjashme me atë të një kompjuteri fizik.Duke lënë mënjanë një pjesë të madhe të shtresës së virtualizimit për atë pajisje PCIe, pengesat tipike të GPU-së së emuluar zhduken dhe makina virtuale mund të funksionojë me lojëra, aplikacione 3D ose motorë AI shumë më mirë.

Kjo është veçanërisht e dukshme në skenarët ku GPU-të e integruara ose karta grafike virtuale e emuluar e parazgjedhur nuk ia dalin dot: Dizajn grafik i avancuar, CAD, modelim dhe renderim 3D, redaktim video, animacion dhe zhvillim lojërashËshtë gjithashtu thelbësore në trajnimin e modeleve të të mësuarit automatik dhe ngarkesave të punës së IA-së që mbështeten shumë në CUDA ose ekuivalente.

Një tjetër avantazh i qartë është përdorimi më fleksibël i pajisjeve në nivelin e qendrës së të dhënave. Në vend që të kesh një stacion pune fizik për përdorues ose për projektËshtë e mundur që një host ESXi me madhësi të mirë t'u dedikohet disa VM-ve, secila me GPU-në e vet në kalim, dhe të luhet me oraret ose kërkesën maksimale.

Në mjedise të caktuara, veçanërisht nëse serverat me slote PCIe të lira janë tashmë të disponueshëm, kostoja për përdorues ose për projekt Mund të jetë më pak sesa mirëmbajtja e një flote stacionesh pune fizike të fuqishme, veçanërisht nëse karta grafike nuk nevojitet 24 orë në ditë dhe mund të rikonfigurohet sipas periudhave të punës intensive.

Së fundmi, ekziston edhe një përfitim indirekt në aspektin e sigurisë dhe operacioneve: duke ruajtur ngarkesat e punës grafike. brenda makinave virtuale të izoluaraNëse diçka shkon keq (një shfrytëzim, një drajver problematik, një konfigurim i keq), është më e lehtë të përmbahet ndikimi, të kthehet në një pamje të mëparshme ose të rivendoset nga një kopje rezervë, për sa kohë që respektohen kufizimet e kalimit, të cilat do t'i shohim më vonë.

Kalimi i GPU-së kundrejt vGPU-së dhe alternativave të tjera

Brenda ekosistemit VMware, ka disa mënyra për të përdorur një kartë grafike, dhe jo të gjitha përfshijnë dedikimin e saj tërësisht për një VM të vetme. Më të njohurat janë: vDGA / VMDirectPath I/O, vGPU (NVIDIA GRID ose të tjera) dhe zgjidhje për akses/llogaritje në distancë si BitFusion.

Në modalitetin e kalimit direkt (vDGA), GPU-ja ndahet ekskluzivisht për një makinë virtualeBërthamat llogaritëse dhe VRAM nuk ndahen midis shumë VM-ve, dhe roli i hipervizorit është praktikisht inekzistent përtej drejtimit të pajisjes PCIe te mysafiri. Është opsioni më i lehtë për t'u kuptuar dhe ai që i ngjan më shumë një serveri fizik me një kartë grafike të dedikuar.

Në qasjen vGPU, softueri i specializuar (për shembull NVIDIA GRID vGPU në VMware vSphereAi trajton virtualizimin e GPU-së në nivelin e kontrolluesit dhe ekspozon instanca virtuale të GPU-së që mund t'u caktohen shumë VM-ve njëkohësisht. Çdo makinë mysafire sheh një "fetë" të GPU-së me burime të garantuara ose të përbashkëta.

vGPU-të lejojnë që shumë desktopë ose serverë virtualë të ndajnë një kartë të vetme grafike, gjë që është shumë e dobishme në VDI, mjedise zyre të përshpejtuara dhe të lehta, stacione pune grafike të linjës së parë në shitje me pakicë ose mikpritjeose skenarë ku përdorimi maksimal i grafikës është i pabarabartë midis përdoruesve. Nga ana tjetër, ka disa mbingarkesa dhe e njëjta performancë maksimale nuk arrihet si me një GPU të tërë fizike të dedikuar për një VM të vetme.

Ekzistojnë edhe zgjidhje të tilla si BitFusion Flexdirect dhe teknologji të ngjashmetë cilat lejojnë që GPU-të të konsumohen në rrjet nga VM të ndryshme, ideale për ngarkesat e punës të IA dhe HPC ku GPU vepron më shumë si një burim informatik në distancë sesa si një kartë video për ndërfaqen grafike të përdoruesit.

Zgjidhni midis vDGA, vGPU ose një modeli GPU të largët Varet nëse duhet ta shfrytëzoni plotësisht një GPU për një makinë të vetme (passthrough), nëse doni të shpërndani një kartë të shtrenjtë midis shumë përdoruesve me ngarkesa pune mesatare (vGPU), apo nëse çelësi është të orkestroni një grup GPU-sh për informatikë të shpërndarë (BitFusion dhe të ngjashme).

Kërkesat e harduerit për përdorimin e vDGA në ESXi

Para se të planifikoni një vendosje GPU passthrough në VMware, duhet të siguroheni që Platforma harduerike plotëson një sërë kushtesh që shkojnë përtej "të kesh një kartë grafike të lidhur me serverin".

Së pari, procesori dhe çipseti i motherboard-it ESXi duhet të mbështesin virtualizimi me IOMMU. Në Intel Kjo arrihet nëpërmjet Intel VT-x plus VT-dy, dhe nëpërmjet AMD nëpërmjet AMD-V me IOMMU. BIOS/UEFI i serverit zakonisht ka opsione specifike për këtë. aktivizoni zgjerimet e virtualizimit të I/O.

Së dyti, duhet të kontrolloni që pllaka mbështetëse Hartimi i memories MMIO mbi 4 GB (ndonjëherë etiketuar si "Dekodim mbi 4G", "Hyrje/Dalje të hartuara të memories mbi 4G" ose të ngjashme). Kjo është veçanërisht e rëndësishme me GPU-të e nivelit të lartë si p.sh. Tesla, P100, V100 dhe ekuivalentët e tyre, të cilët deklarojnë rajone shumë të mëdha memorieje në BAR-in e tyre (Regjistrat e Adresave Bazë).

Disa nga këto karta të nivelit të lartë mund të hartëzohen më shumë se 16 GB hapësirë ​​MMIOPrandaj, përveç lojës së BIOSPastaj, disa parametra në cilësimet e avancuara të VM-së në vSphere do të duhet të rregullohen në mënyrë që të mund të niset me atë GPU pa gabime me burime të pamjaftueshme.

Sigurisht, vetë GPU duhet të jetë i pajtueshëm me platformën e serverit dhe të mbështetet nga prodhuesi pritës (Dell, HPE, Lenovoetj.) kur përdoret në modalitetin passthrough. Në praktikë, shumica e GPU-ve moderne PCIe funksionojnë, por këshillohet të kontrolloni listat e përputhshmërisë, veçanërisht për kartat GRID ose modelet shumë të reja.

Kërkesat e softuerit dhe përputhshmëria e versioneve

Në nivelin e softuerit, është e rëndësishme të jetë e qartë se VMware mbështet vDGA në vSphere 6.x dhe versionet e mëvonshmeMegjithatë, disa përdorues kanë raportuar probleme specifike me kombinime të caktuara të harduerit (për shembull, GPU-të NVIDIA GRID në serverët Dell R720 me ESXi 6.x).

Në këto raste, është e zakonshme të shohësh gabime të tilla si "pajisja është tashmë në përdorim" ose simptoma që sugjerojnë se Passthrough ndaloi së punuari pas përditësimit nga ESXi 5.5 në 6.xkur në realitet bëhet fjalë për gabime specifike, ndryshime në menaxhimin e pajisjeve PCI ose drajverët, në vend të një tërheqjeje zyrtare të mbështetjes.

Sistemi operativ mysafir që do të përdorë GPU-në në kalim duhet të ketë Drajverët zyrtarë të prodhuesit të instaluar brenda makinës virtuale (NVIDIA, AMD, Intel), meqenëse ESXi nuk ngarkon ndonjë drajver specifik për atë kartë kur përdor VMDirectPath I/O; hipervizori thjesht e ekspozon pajisjen ndaj mysafirit.

Për më tepër, makina virtuale duhet të konfigurohet për t'u nisur. Modaliteti EFI ose UEFI kur përdoren GPU-të që deklarojnë rajone të mëdha memorieje MMIO. Ky detaj është kritik: firmware-i i gabuar i VM-së mund të çojë në dështime. boot ose që GPU nuk inicializohet saktë nga sistemi operativ mysafir.

Nga ana e klientit, nëse qasja në VM ndodh përmes Desktop i largët (RDP ose protokolle të tjera)Politikat e duhura do të duhet të aktivizohen në mënyrë që sistemi mysafir të përdorë përshtatësin grafik të harduerit në seancat në distancë dhe të mos ngecë me një drajver gjenerik pa përshpejtim.

Konfigurimi i hostit ESXi për të përdorur GPU-në në modalitetin kalimtar

Hapi i parë praktik është përgatitja e Serveri vSphere/ESXi për të ekspozuar GPU-në si një pajisje DirectPath I/OKjo përfshin hyrjen në BIOS, kontrollin e inventarit PCI në host dhe shënimin e kartës në mënyrë që ajo t'u caktohet makinave virtuale.

Nëse GPU kërkon rajone të mëdha memorieje MMIO (16 GB ose më shumë), duhet të shikoni në BIOS/UEFI të serverit për opsione si “Dekodim mbi 4G” ose “Trajtim burimesh PCI 64-bit mbi 4G” dhe aktivizojini ato. Emri specifik ndryshon në varësi të prodhuesit, por zakonisht mund të gjendet në cilësimet e PCI-së ose në seksionin e burimeve të avancuara.

Pasi ESXi të fillojë me këto cilësime, në klientin vSphere mund të shkoni te hosti përkatës dhe të hyni në “Konfiguro → Pajisje → Pajisje PCI → Modifiko” Për të parë listën e pajisjeve PCI të zbuluara, do të shihni kartat NVIDIA, AMD ose të ngjashme së bashku me pjesën tjetër të pajisjeve PCI të serverit.

Nëse GPU-ja nuk është aktivizuar ende për DirectPath I/O, thjesht shënoni kutinë. kuti kalimi në hyrjen tuaj brenda asaj liste. Kur ruani ndryshimet, vSphere do t'ju kërkojë të rinisni hostin për të aplikuar konfigurimin, pasi hipervizori duhet të rezervojë dhe përgatisë pajisjen që do t'i ricaktohet makinave virtuale.

Pas rinisjes, pas kthimit në seksion “Konfiguro → Pajisje → Pajisje PCI” Do të shfaqet një dritare e titulluar diçka si "Pajisjet DirectPath I/O PCI të Disponueshme për VM-të", duke listuar të gjitha pajisjet që janë bërë të disponueshme për përdorim në makinat virtuale, duke përfshirë GPU-të dhe, në shumë raste, adaptorë të përparuar të rrjetit si Mellanox.

Përgatitja dhe konfigurimi i makinës virtuale

Me hostin gati, hapi tjetër është krijimi ose përshtatja e makinës virtuale që do të përdorë GPU-në. Gjëja e parë është të siguroheni që VM-ja Është krijuar me firmware të përshtatshëm EFI/UEFI., veçanërisht në skenarë me GPU të nivelit të lartë dhe MMIO të lartë.

Në klientin vSphere, thjesht zgjidhni VM-në, shkoni te “Ndrysho Cilësimet → Opsionet e VM-së → Opsionet e Nisjes” dhe verifikoni që "EFI" ose "UEFI" është zgjedhur në fushën "Firmware". Nëse nuk është, do të duhet të ndryshohet (dhe në disa raste, VM ose sistemi operativ do të duhet të rikrijohet nëse nuk e mbështet këtë shkëmbim të shpejtë).

Kur përdorni passthrough me karta që përmbajnë më shumë se 16 GB hapësirë ​​MMIO, këshillohet të rregulloni disa parametra të avancuar në konfigurimin e VM-së, të arritshëm nga “Ndrysho Cilësimet → Opsionet e VM → Të Avancuara → Parametrat e Konfigurimit → Ndrysho Konfigurimin”Atje mund të shtoni çelësa që lidhen me pciPassthru për të kontrolluar se si rezervohet hapësira e adresave.

Në mënyrë specifike, përdorimi i MMIO 64-bit zakonisht aktivizohet dhe një madhësi përcaktohet për atë rajon, e llogaritur nga Sa GPU të nivelit të lartë do t'i ndahen makinës virtuale?Rregulli i përgjithshëm është zakonisht të shumëzohet 16 me numrin e GPU-ve dhe të rrumbullakoset rezultati në fuqinë e dytë (për shembull, dy GPU të tilla do të përfundojnë me 64 GB MMIO 64-bit).

Pas rregullimit të këtyre parametrave, kryhet instalimi ose verifikohet që Sistemi operativ mysafir mbështet EFI/UEFI dhe është i aftë të trajtojë madhësinë e memories dhe GPU-në në fjalë.Në këtë pikë, karta grafike nuk është lidhur ende me makinën virtuale; mjedisi thjesht po përgatitet në mënyrë që, kur të jetë i lidhur, gjithçka të fillojë pa gabime për shkak të mungesës së burimeve ose firmware-it të papajtueshëm.

Caktoni GPU-në te VM duke përdorur VMDirectPath I/O

Pasi hosti ta ketë shënuar GPU-në si të disponueshme për DirectPath I/O dhe VM-ja të jetë konfiguruar saktë, është koha për të lidhni fizikisht kartën me atë makinë virtualeKy hap duhet të bëhet me makinën virtuale plotësisht të fikur.

Nga klienti vSphere, zgjidhni VM-në dhe shkruani "Ndrysho Cilësimet" për të shqyrtuar harduerin virtualNë listën e pajisjeve, mund të klikoni "Shto Pajisje të Re" dhe të zgjidhni "Pajisje PCI" nëse GPU nuk është tashmë e listuar. Pastaj, zgjidhni pajisjen PCI që korrespondon me kartën grafike (për shembull, karta NVIDIA ose AMD e zbuluar në host).

Kur konfigurimi ruhet, makina virtuale do të shfaqë diçka të tillë në harduerin e saj. "Pajisja PCI 0" e lidhur me GPU-në specifikeNga kjo pikë e tutje, kur sistemi operativ mysafir fillon, ai do të shohë një përshtatës shtesë PCIe që korrespondon me kartën grafike fizike.

Është thelbësore që makina virtuale të ketë rezervoi të gjithë memorien që i është ndarëNë vSphere, kjo konfigurohet në “Redakto Cilësimet → Pajisjet Virtuale → Memoria”, duke vendosur vlerën “Rezervim” në sasinë e RAM-it të konfiguruar për VM-në. Pa këtë rezervim të plotë, kalimi PCI mund të dështojë ose të përjetojë probleme të ndërprera.

Pas ndezjes së VM-së, në një sistem Linux Prania e GPU-së mund të verifikohet me komandat Tipo lspci | grep nvidia, ndërsa në Windows do të shfaqet nën "Adaptuesit e ekranit" në Menaxheri i pajisjesËshtë normale të shihni si përshtatësin grafik të emuluar VMware ashtu edhe GPU-në fizike të dedikuar.

Hapi i fundit është instalimi i sa vijon në pajisjen mysafire: Shoferët Zyrtarët e prodhuesit të GPU-ve, të shkarkuara nga faqet e internetit të NVIDIA, AMD ose Intel, duke shmangur mbështetjen në drajverët gjenerikë ose ato të ofruara Windows Updatetë cilat mund të mos jenë të optimizuara për skenarë kalimi.

Kufizimet dhe veçoritë e vSphere që nuk funksionojnë me vDGA

Ana B e kalimit të GPU-së në VMware është kjo Disa veçori të përparuara të platformës humbasin duke ia dedikuar një pajisje fizike direkt një VM-je. Ky është çmimi që duhet paguar për atë performancë pothuajse origjinale.

Sakrifica e parë e madhe është vMotion dhe DRSNjë makinë virtuale me një GPU në modalitetin kalimtar nuk mund të migrohet menjëherë në një host tjetër sepse karta është e kyçur fizikisht në serverin origjinal. Politikat e automatizuara të balancimit të ngarkesës që përfshijnë zhvendosjen e VM midis hosteve në klaster gjithashtu nuk mund të përdoren.

Karakteristika të tilla si Pamje të çastit tradicionale ose mekanizma të caktuar me disponueshmëri të lartë për atë makinë virtuale specifike. Meqenëse mbështetet në një harduer fizik shumë të veçantë, aftësia për të ngrirë dhe rivendosur gjendje komplekse është e kompromentuar.

Një aspekt tjetër që duhet marrë në konsideratë është se, në këtë mënyrë, GPU-ja nuk ndahet midis shumë VM-ve.Nëse nevojiten disa desktopë ose serverë me përshpejtim grafik në të njëjtën makinë, do të kërkohet një kartë për VM, ose si alternativë, mund të përdoret një model vGPU ku karta virtualizohet në shumë instanca.

Nga ana e mbështetjes, mund të ketë raste specifike ku Disa kombinime të pajisjeve dhe drajverëve mund të shkaktojnë problemeSiç kanë vënë re disa përdorues gjatë përmirësimit në ESXi 6.x me karta NVIDIA GRID në servera specifikë (p.sh., Dell R720), këshillohet të rishikohet dokumentacioni i prodhuesit të VMware dhe GPU-së në këto skenarë dhe të hapen raste mbështetjeje nëse është e nevojshme.

Së fundmi, duhet theksuar se disa teknologji ose shërbime që bashkëveprojnë me grafikën, si p.sh. desktopë të largët, nënsisteme Linux në Windows ose veçori të përparuara të sistemit operativAto mund të ndërhyjnë ose të shkaktojnë gabime "Code 43" në drajverët NVIDIA nëse zbulojnë se po punoni brenda një VM me GPU passthrough.

Kalimi i GPU-së në hipervizorë të tjerë: paralel me Hyper-V

Edhe pse fokusi këtu është te VMware, ia vlen të kuptohet se si hipervizorë të tjerë (për shembull virtualizim me KVM dhe virt-manager) adresojnë të njëjtën nevojë për të ndarë një GPU fizike në një VMsepse terminologjia dhe mjetet ndryshojnë, por ideja themelore është e ngjashme.

Në Hyper-V, ekuivalenti i VMware VMDirectPath I/O është Caktimi i drejtpërdrejtë i pajisjes duke përdorur DDA (Caktimi i Pajisjes Diskrete)Kjo teknikë lejon hartëzimin e një pajisjeje specifike PCIe, siç është një GPU ose NVMe, direkt brenda një makine virtuale Windows, me një nivel kontrolli dhe performance të ngjashëm me atë të kalimit në ESXi.

Versionet më të vjetra të Windows Server përdornin këtë teknologji. RemoteFX për të ofruar virtualizim GPU dhe për të ndarë një kartë grafike midis shumë VM-ve. Me el tiempoPër shkak të problemeve të sigurisë dhe kufizimeve të performancës (siç është limiti prej 1GB VRAM për VM dhe 30 FPS), Microsoft hoqi dorë nga RemoteFX dhe la DDA si rrugën kryesore për skenarët e dedikuar të GPU-së.

Në Windows 10 dhe Dritaret 11Sidomos me disa përmbledhje, është shfaqur mbështetje për Ndarja e GPU-së dhe mekanizmat e ripërdorur nga WSL2 dhe Windows SandboxMegjithatë, konfigurimi i tij zakonisht përfshin skripte komplekse dhe kopjim të drajverëve nga hosti te mysafiri, gjë që nuk është aq e thjeshtë sa caktimi i një pajisjeje në vSphere.

Njohja e këtyre alternativave na lejon të shohim se Filozofia e ofrimit të aksesit pothuajse vendas në GPU nëpërmjet një kanali të drejtpërdrejtë PCIe Është e zakonshme për disa hipervizorë, megjithëse secili ka nuancat, komandat dhe kufizimet e veta të përputhshmërisë.

I gjithë ky ekosistem i passthrough, vGPU dhe DDA tregon se, i konfiguruar siç duhet dhe me harduerin e duhur, Është plotësisht e zbatueshme të përdoren GPU të fuqishme brenda makina virtuale për prodhim Për ngarkesat e punës që variojnë nga desktopët grafikë me kërkesa të larta deri te IA dhe HPC, gjithmonë duke supozuar se do të duhet të hiqni dorë nga disa lehtësi të virtualizimit tradicional dhe t'i kushtoni vëmendje të madhe drajverëve, versioneve të hipervizorit dhe mbështetjes së prodhuesit të GPU-ve.