GPU caurlaide (vDGA) VMware: pilnīgs ceļvedis

Fiziskā GPU tieša pievienošana virtuālajai mašīnai VMware vidē Tā ir viena no tām izmaiņām, kas rada visu atšķirību, strādājot ar lielām grafikas slodzēm. IA vai 3D renderēšanu. Pāreja no emulētas grafikas kartes uz tiešu piekļuvi, izmantojot caurlaidi (vDGA / VMDirectPath I/O), var tuvināt virtuālās mašīnas veiktspēju fiziskas mašīnas veiktspējai, taču pretī tā pievieno diezgan daudz prasību un ierobežojumu, kas pirms darba sākšanas ir skaidri jāzina.

Turklāt pašreizējā ekosistēmā pastāv vairāki GPU izmantošanas veidi virtualizētās vidēs: Īpaša caurlaide, koplietots vGPU un tādas tehnoloģijas kā BitFusion vai GPU sadalīšanaIzpratne par katras funkcijas darbību, kādos gadījumos tā ir piemērota un kā tā ir konfigurēta vSphere/ESXi (un kā tā ir saistīta ar līdzīgām tehnoloģijām, piemēram, Hyper-V DDA), ir būtiska, lai nenonāktu strupceļā ar aparatūru vai izvēlēto hipervizora versiju.

Kas ir GPU caurlaide (vDGA / VMDirectPath I/O) VMware vidē?

GPU caurlaide VMware vidē, pazīstama arī kā vDGA vai VMDirectPath I/OŠis ir darbības režīms, kurā ESXi resursdatorā instalēta fiziskā grafikas karte tiek tieši piešķirta virtuālajai mašīnai. Tā vietā, lai izmantotu hipervizora emulētu grafikas adapteri, viesa operētājsistēma redz GPU gandrīz tā, it kā tas būtu pievienots fiziskai mātesplatei.

Šis saīsinājums ļauj virtuālajai mašīnai izmantot priekšrocības visa grafikas mikroshēmas jauda, ​​tās video atmiņa un uzlabotās funkcijas piemēram, CUDA, OpenCL, Direct3D un OpenGL, ar ļoti nelielu papildu slodzi no hipervizora. VMware laboratorijas testos parasti tiek ziņots par aptuveni 4–5 % veiktspējas zudumu, salīdzinot ar tā paša GPU darbināšanu bez spraudņa.

Praksē GPU caurlaides izmantošana nozīmē, ka Šī karte ir pilnībā veltīta vienai virtuālajai mašīnai.Nav detalizētas resursu sadales starp vairākām virtuālajām mašīnām, kā arī nav trešās puses programmatūras slāņa, kas ielādētu ESXi grafikas kartes koplietošanai, atšķirībā no tā, kas notiek ar vGPU risinājumiem, piemēram, NVIDIA REŽĢIS.

Ir svarīgi atšķirt šo pieeju no citiem GPU izmantošanas veidiem virtualizācijā, piemēram, NVIDIA vGPU (koplietots vGPU), RemoteFX/nodalīšana Hyper-V vai BitFusion tipa risinājumos, kuru mērķis ir izplatīt GPU vai GPU kopumu starp vairākām iekārtām ar dažādām virtualizācijas vai attālās pāradresācijas metodēm.

Kad VMware pasaulē mēs runājam par vDGA, mēs būtībā aprakstām šo GPU PCIe ierīces tieša piešķiršana VM izmantojot VMDirectPath I/O, ar visām no tā izrietošajām priekšrocībām (veiktspēja) un sliktajām sekām (mobilitātes un augstas pieejamības ierobežojumi).

GPU caurlaides izmantošanas priekšrocības vSphere vidē

Galvenais iemesls pārejai uz vDGA ir šāds: Grafikas un skaitļošanas veiktspēja ir ļoti tuva fiziska datora veiktspējai.Izlaižot lielu daļu no virtualizācijas slāņa šai PCIe ierīcei, izzūd emulētā GPU tipiskās vājās vietas, un virtuālā mašīna var daudz vienmērīgāk strādāt ar spēlēm, 3D lietojumprogrammām vai mākslīgā intelekta dzinējiem.

Tas ir īpaši pamanāms scenārijos, kad integrētie GPU vai noklusējuma emulētā virtuālā grafikas karte ir krietni nepietiekama: Augstākā līmeņa grafiskais dizains, CAD, 3D modelēšana un renderēšana, video rediģēšana, animācija un spēļu izstrādeTas ir arī kritiski svarīgi mašīnmācīšanās modeļu un mākslīgā intelekta darba slodžu apmācībā, kas lielā mērā balstās uz CUDA vai līdzvērtīgiem risinājumiem.

Vēl viena nepārprotama priekšrocība ir elastīgāka aparatūras izmantošana datu centra līmenī. Tā vietā, lai fiziskā darbstacija katram lietotājam vai katram projektamIr iespējams atvēlēt pietiekami lielu ESXi resursdatoru vairākām virtuālajām mašīnām, katrai no kurām ir sava GPU caurlaides režīmā, un darboties ar grafikiem vai maksimālās slodzes apstākļos.

Dažās vidēs, īpaši, ja jau ir pieejami serveri ar brīviem PCIe slotiem, izmaksas par vienu lietotāju vai par projektu Tas var būt mazāk nekā jaudīgu fizisko darbstaciju parka uzturēšana, it īpaši, ja grafikas karte nav nepieciešama 24 stundas diennaktī un to var pārkonfigurēt atbilstoši intensīva darba periodiem.

Visbeidzot, pastāv arī netiešs ieguvums drošības un darbības ziņā: saglabājot grafikas darba slodzes izolētās virtuālajās mašīnāsJa kaut kas noiet greizi (izaicinājums, problemātisks draiveris, nepareiza konfigurācija), ir vieglāk ierobežot ietekmi, atgriezties pie iepriekšējā momentuzņēmuma vai atjaunot no dublējuma, ja vien tiek ievēroti caurlaides ierobežojumi, kurus redzēsim vēlāk.

GPU caurlaide salīdzinājumā ar vGPU un citām alternatīvām

VMware ekosistēmā ir vairāki veidi, kā izmantot grafikas karti, un ne visi no tiem ietver tās pilnīgu atvēlēšanu vienai virtuālajai mašīnai. Vispazīstamākie ir: vDGA/VMDirectPath I/O, vGPU (NVIDIA GRID vai citi) un attālās piekļuves/skaitļošanas risinājumi, piemēram, BitFusion.

Tiešās caurlaides režīmā (vDGA) tiek piešķirts GPU tikai virtuālajai mašīnaiSkaitļošanas kodoli un videoatmiņa (VRAM) netiek koplietoti starp vairākām virtuālajām mašīnām (VM), un hipervizora loma praktiski nepastāv, izņemot PCIe ierīces maršrutēšanu uz viesi. Tā ir visvieglāk saprotamā opcija, kas visvairāk līdzinās fiziskam serverim ar speciālu grafikas karti.

vGPU pieejā specializēta programmatūra (piemēram, NVIDIA GRID vGPU uz VMware vSphereTas apstrādā GPU virtualizāciju kontrollera līmenī un nodrošina GPU virtuālos eksemplārus, kurus var vienlaikus piešķirt vairākām virtuālajām mašīnām. Katra viesdatora redz GPU "šķēli" ar garantētiem vai koplietotiem resursiem.

vGPU ļauj vairākiem virtuāliem darbvirsmām vai serveriem koplietot vienu grafikas karti, kas ir ļoti noderīgi VDI, vieglas, paātrinātas biroja vides, priekšējās līnijas grafiskās darbstacijas mazumtirdzniecībā vai viesmīlībāvai scenārijus, kuros maksimālā grafikas izmantošana lietotājiem ir nevienmērīga. Tā rezultātā rodas zināmas papildu slodzes, un netiek sasniegta tāda pati maksimālā veiktspēja kā ar visu fizisko GPU, kas veltīta vienai virtuālajai mašīnai.

Ir arī tādi risinājumi kā BitFusion Flexdirect un līdzīgas tehnoloģijaskas ļauj GPU patērēt tīklā no dažādām virtuālajām mašīnām, kas ir ideāli piemērots mākslīgā intelekta un HPC darba slodzēm, kur GPU darbojas vairāk kā attālināts skaitļošanas resurss, nevis kā videokarte lietotāja grafiskajam interfeisam.

Izvēlieties starp vDGA, vGPU vai attālā GPU modeli Tas ir atkarīgs no tā, vai jums ir pilnībā jāizmanto GPU vienai iekārtai (caurlaide), vai vēlaties izplatīt dārgu karti starp daudziem lietotājiem ar vidēju darba slodzi (vGPU), vai arī galvenais ir organizēt GPU kopumu izkliedētai skaitļošanai (BitFusion un līdzīgi).

Aparatūras prasības vDGA lietošanai ESXi vidē

Pirms GPU caurlaides izvietošanas plānošanas VMware vidē, jums jāpārliecinās, ka Aparatūras platforma atbilst virknei nosacījumu kas sniedzas tālāk par "grafikas kartes pievienošanu serverim".

Pirmkārt, ESXi resursdatora mātesplates procesoram un mikroshēmojumam ir jāatbalsta virtualizācija ar IOMMU. uz Intel Tas tiek panākts, izmantojot Intel VT-x plus VT-dy, un AMD, izmantojot AMD-V ar IOMMU. Servera BIOS/UEFI parasti ir īpašas opcijas šim nolūkam. aktivizēt virtualizācijas paplašinājumus I/O.

Otrkārt, jums jāpārbauda atbalsta plāksne MMIO atmiņas kartēšana virs 4 GB (dažreiz apzīmēts kā “Dekodēšana virs 4G”, “atmiņā kartēta I/O virs 4G” vai tamlīdzīgi). Tas ir īpaši svarīgi augstas klases GPU, piemēram, Tesla, P100, V100 un līdzvērtīgi, kas savos BAR (bāzes adrešu reģistros) deklarē ļoti lielus atmiņas reģionus.

Dažas no šīm augstākās klases kartēm var kartēt vairāk nekā 16 GB MMIO vietasTāpēc, papildus spēlēšanai BIOSPēc tam vSphere papildu VM iestatījumos būs jāpielāgo noteikti parametri, lai tā varētu startēties ar šo GPU bez nepietiekamu resursu kļūdām.

Protams, pašam GPU ir jābūt saderīgs ar servera platformu un to atbalsta resursdatora ražotājs (Dell, HPE, Lenovoutt.), ja tiek izmantots caurlaides režīmā. Praksē darbojas lielākā daļa mūsdienu PCIe GPU, taču ieteicams pārbaudīt saderības sarakstus, īpaši GRID kartēm vai pavisam jauniem modeļiem.

Programmatūras prasības un versiju saderība

Programmatūras līmenī ir svarīgi skaidri norādīt, ka VMware atbalsta vDGA vSphere 6.x un jaunākās versijās.Tomēr daži lietotāji ir ziņojuši par specifiskām problēmām ar noteiktām aparatūras kombinācijām (piemēram, NVIDIA GRID GPU Dell R720 serveros ar ESXi 6.x).

Šādos gadījumos bieži var redzēt tādas kļūdas kā “ierīce jau tiek lietota” vai simptomus, kas liecina, ka Pēc jaunināšanas no ESXi 5.5 uz 6.x pārstāja darboties caurlaidelai gan patiesībā runa ir par konkrētām kļūdām, izmaiņām PCI ierīču pārvaldībā vai draiveros, nevis oficiālu atbalsta atsaukšanu.

Viesu operētājsistēmai, kas izmantos GPU caurlaidē, ir jābūt oficiālie ražotāja draiveri, kas instalēti virtuālajā mašīnā (NVIDIA, AMD, Intel), jo ESXi, izmantojot VMDirectPath I/O, neielādē nekādu konkrētu draiveri šai kartei; hipervizors vienkārši parāda ierīci viesim.

Turklāt virtuālajai mašīnai jābūt konfigurētai tā, lai tā startētos. EFI vai UEFI režīms izmantojot GPU, kas deklarē lielus MMIO atmiņas reģionus. Šī detaļa ir kritiska: nepareiza VM programmaparatūra var izraisīt kļūmes. zābaks vai arī GPU netiek pareizi inicializēts no viesa operētājsistēmas.

Klienta pusē, ja piekļuve VM notiek caur Attālā darbvirsma (RDP vai citi protokoli)Lai viessistēma attālinātajās sesijās izmantotu aparatūras grafikas adapteri un nebūtu iestrēgusi ar vispārēju draiveri bez paātrinājuma, būs jāaktivizē atbilstošās politikas.

ESXi resursdatora konfigurēšana GPU izmantošanai caurlaides režīmā

Pirmais praktiskais solis ir sagatavot vSphere/ESXi serveris, lai GPU tiktu parādīts kā DirectPath I/O ierīceTas ietver piekļuvi BIOS, PCI inventāra pārbaudi resursdatorā un kartes atzīmēšanu, lai to varētu piešķirt virtuālajām mašīnām.

Ja GPU ir nepieciešami lieli MMIO atmiņas reģioni (16 GB vai vairāk), servera BIOS/UEFI vajadzētu meklēt tādas opcijas kā “Dekodēšana virs 4G” vai “PCI 64 bitu resursu apstrāde virs 4G” un aktivizējiet tos. Konkrētais nosaukums atšķiras atkarībā no ražotāja, taču parasti tas ir atrodams PCI konfigurācijas vai papildu resursu sadaļā.

Kad ESXi ir palaists ar šiem iestatījumiem, vSphere klientā varat doties uz atbilstošo resursdatoru un piekļūt “Konfigurēt → Aparatūra → PCI ierīces → Rediģēt” Lai skatītu atrasto PCI ierīču sarakstu, redzēsiet NVIDIA, AMD vai līdzīgas kartes kopā ar pārējo servera PCI aparatūru.

Ja GPU vēl nav iespējots DirectPath I/O, vienkārši atzīmējiet izvēles rūtiņu. caurlaides kaste pie jūsu ieejas šajā sarakstā. Saglabājot izmaiņas, vSphere liks jums restartēt resursdatoru, lai lietotu konfigurāciju, jo hipervizoram ir jārezervē un jāsagatavo ierīce atkārtotai piešķiršanai virtuālajām mašīnām.

Pēc restartēšanas, atgriežoties sadaļā “Konfigurēt → Aparatūra → PCI ierīces” Tiks parādīts logs ar nosaukumu “DirectPath I/O PCI ierīces, kas pieejamas virtuālajām mašīnām”, kurā būs uzskaitītas visas ierīces, kas ir kļuvušas pieejamas lietošanai virtuālajās mašīnās, tostarp grafiskie procesori un daudzos gadījumos arī uzlaboti tīkla adapteri, piemēram, Mellanox.

Virtuālās mašīnas sagatavošana un konfigurēšana

Kad resursdators ir gatavs, nākamais solis ir izveidot vai pielāgot virtuālo mašīnu, kas izmantos GPU. Vispirms ir jāpārliecinās, ka VM Tas ir izveidots ar atbilstošu EFI/UEFI programmaparatūru., īpaši scenārijos ar augstas klases grafiskajiem procesoriem un augstu MMIO.

VSphere klientā vienkārši atlasiet virtuālo mašīnu un dodieties uz “Rediģēt iestatījumus → VM opcijas → Sāknēšanas opcijas” un pārliecinieties, vai laukā “Aparātprogrammatūra” ir atlasīts “EFI” vai “UEFI”. Ja tas tā nav, tas būs jāmaina (un dažos gadījumos virtuālā mašīna vai operētājsistēma būs jāizveido no jauna, ja tā neatbalsta šo karstās nomaiņas funkciju).

Izmantojot caurlaidi ar kartēm, kas kartē vairāk nekā 16 GB MMIO vietas, ieteicams pielāgot dažus papildu parametrus VM konfigurācijā, kuriem var piekļūt no “Rediģēt iestatījumus → VM opcijas → Papildu → Konfigurācijas parametri → Rediģēt konfigurāciju”Tur var pievienot ar pciPassthru saistītas atslēgas, lai kontrolētu, kā tiek rezervēta adreses telpa.

Konkrēti, parasti ir iespējota 64 bitu MMIO izmantošana, un šim reģionam ir definēts izmērs, kas tiek aprēķināts no Cik augstas klases GPU tiks piešķirti virtuālajai mašīnai?Parasti 16 jāreizina ar GPU skaitu un rezultāts jānoapaļo uz augšu līdz nākamajai divinieka pakāpei (piemēram, divi šādi GPU iegūtu 64 GB 64 bitu MMIO).

Pēc šo parametru pielāgošanas tiek veikta instalēšana vai tiek pārbaudīts, vai Viesu operētājsistēma atbalsta EFI/UEFI un spēj apstrādāt attiecīgo atmiņas apjomu un GPU.Šajā brīdī grafikas karte vēl nav pievienota virtuālajai mašīnai; vide vienkārši tiek sagatavota, lai, kad tā būs pievienota, viss sāktos bez kļūdām resursu trūkuma vai nesaderīgas programmaparatūras dēļ.

Piešķiriet GPU virtuālajai mašīnai, izmantojot VMDirectPath I/O.

Kad resursdators ir atzīmējis GPU kā pieejamu DirectPath I/O un virtuālā mašīna ir pareizi konfigurēta, ir pienācis laiks fiziski saistīt karti ar šo virtuālo mašīnuŠis solis jāveic, kad VM ir pilnībā izslēgta.

No vSphere klienta atlasiet VM un ievadiet “Rediģēt iestatījumus”, lai pārskatītu virtuālo aparatūruIerīču sarakstā varat noklikšķināt uz "Pievienot jaunu ierīci" un izvēlēties "PCI ierīce", ja GPU vēl nav sarakstā. Pēc tam atlasiet grafikas kartei atbilstošo PCI ierīci (piemēram, resursdatorā noteikto NVIDIA vai AMD karti).

Kad konfigurācija ir saglabāta, virtuālā mašīna savā aparatūrā parādīs kaut ko līdzīgu šim Ar konkrēto GPU saistītā “PCI ierīce 0”Turpmāk, startējot viesa operētājsistēmu, tā redzēs papildu PCIe adapteri, kas atbilst fiziskajai grafikas kartei.

Ir svarīgi, lai virtuālajai mašīnai būtu rezervēja visu tam piešķirto atmiņuvSphere vidē tas tiek konfigurēts sadaļā “Rediģēt iestatījumus → Virtuālā aparatūra → Atmiņa”, iestatot vērtību “Rezervācija” uz virtuālajai mašīnai konfigurēto RAM apjomu. Bez šīs pilnās rezervēšanas PCI caurlaide var neizdoties vai rasties periodiskas problēmas.

Pēc virtuālās mašīnas ieslēgšanas sistēmā Linux GPU klātbūtni var pārbaudīt ar komandas tips lspci | grep nvidia, savukārt operētājsistēmā Windows tas parādīsies sadaļā “Displeja adapteri” Ierīču pārvaldnieksIr normāli redzēt gan VMware emulēto grafikas adapteri, gan speciālo fizisko GPU.

Pēdējais solis ir instalēt viesa ierīcē sekojošo: vadītājiem GPU ražotāja amatpersonas, lejupielādēt no NVIDIA, AMD vai Intel tīmekļa vietnēm, izvairoties no paļaušanās uz vispārīgiem draiveriem vai tiem, kas ir iekļauti komplektācijā Windows Updatekas, iespējams, nav optimizēts caurlaides scenārijiem.

vSphere ierobežojumi un funkcijas, kas nedarbojas ar vDGA

GPU caurlaides B puse VMware ir šāda Vairākas platformas uzlabotās funkcijas ir zaudētas piešķirot fizisku ierīci tieši virtuālajai mašīnai. Tā ir cena, kas jāmaksā par gandrīz vietējo veiktspēju.

Pirmais lielais upuris ir vMotion un DRSVirtuālo mašīnu ar GPU caurlaides režīmā nevar ātri migrēt uz citu resursdatoru, jo karte ir fiziski piesaistīta sākotnējam serverim. Nevar izmantot arī automatizētas slodzes līdzsvarošanas politikas, kas ietver virtuālās mašīnas pārvietošanu starp resursdatoriem klasterī.

Tādas funkcijas kā Tradicionāli momentuzņēmumi vai noteikti augstas pieejamības mehānismi šai konkrētajai virtuālajai mašīnai. Tā kā tā balstās uz ļoti specifisku fizisko aparatūru, sarežģītu stāvokļu iesaldēšanas un atjaunošanas iespēja ir apdraudēta.

Vēl viens aspekts, kas jāņem vērā, ir tas, ka šajā režīmā GPU netiek koplietots starp vairākām virtuālajām mašīnām (VM).Ja vienā datorā ir nepieciešami vairāki galddatori vai serveri ar grafikas paātrinājumu, katrai virtuālajai mašīnai būs nepieciešama viena karte vai arī var izmantot vGPU modeli, kurā karte tiek virtualizēta vairākās instancēs.

Atbalsta pusē var būt īpaši gadījumi, kad Dažas aparatūras un draiveru kombinācijas var radīt problēmasKā daži lietotāji ir novērojuši, jauninot uz ESXi 6.x ar NVIDIA GRID kartēm konkrētos serveros (piemēram, Dell R720), šādos gadījumos ieteicams pārskatīt VMware un GPU ražotāju dokumentāciju un, ja nepieciešams, atvērt atbalsta pieprasījumus.

Visbeidzot, jāatzīmē, ka noteiktas tehnoloģijas vai pakalpojumi, kas mijiedarbojas ar grafiku, piemēram, attālās darbvirsmas, Linux apakšsistēmas operētājsistēmā Windows vai operētājsistēmas papildu funkcijasTie var traucēt vai izraisīt "43. koda" kļūdas NVIDIA draiveros, ja tie nosaka, ka strādājat virtuālajā mašīnā ar GPU caurlaidi.

GPU caurlaide citos hipervizoros: paralēli ar Hyper-V

Lai gan šeit uzmanības centrā ir VMware, ir vērts saprast, kā citi hipervizori (piemēram, virtualizācija ar KVM un virt-manager) risināt to pašu vajadzību piešķirt fizisku GPU VMjo terminoloģija un rīki mainās, bet pamatideja paliek līdzīga.

Hyper-V sistēmā VMware VMDirectPath I/O ekvivalents ir tieša ierīču piešķiršana, izmantojot DDA (diskrēto ierīču piešķiršanu)Šī metode ļauj kartēt konkrētu PCIe ierīci, piemēram, GPU vai NVMe, tieši Windows virtuālajā mašīnā ar tādu pašu vadības un veiktspējas līmeni kā ESXi caurlaidei.

Vecākas Windows Server versijas izmantoja šo tehnoloģiju RemoteFX lai piedāvātu GPU virtualizāciju un koplietotu grafikas karti starp vairākām virtuālajām mašīnām. Ar el tiempoDrošības problēmu un veiktspējas ierobežojumu dēļ (piemēram, 1 GB VRAM uz VM ierobežojuma un 30 kadri sekundē) Microsoft pārtrauca RemoteFX darbību un atstāja DDA kā galveno ceļu īpaši paredzētu GPU scenārijiem.

Operētājsistēmā Windows 10 un Windows 11Īpaši ar noteiktām kompilācijām ir parādījies atbalsts GPU sadalīšana un atkārtoti izmantoti mehānismi no WSL2 un Windows SandboxTomēr tā konfigurēšana parasti ietver sarežģītus skriptus un draiveru kopēšanu no resursdatora uz viesi, kas nav tik vienkārši kā ierīces piešķiršana vSphere.

Šo alternatīvu apzināšanās ļauj mums to saprast Filozofija, kas piedāvā gandrīz dabisku piekļuvi GPU, izmantojot tiešu PCIe kanālu Tas ir kopīgs vairākiem hipervizoriem, lai gan katram ir savas nianses, komandas un saderības ierobežojumi.

Visa šī caurlaides, vGPU un DDA ekosistēma pierāda, ka, pareizi konfigurēta un ar atbilstošu aparatūru, Ir pilnīgi iespējams izmantot jaudīgus GPU iekšpusē virtuālās mašīnas ražošanai Darba slodzēm, sākot no prasīgiem grafikas galddatoriem līdz mākslīgajam intelektam un augstas veiktspējas skaitļošanas (HPC) risinājumiem, vienmēr pieņemot, ka jums būs jāatsakās no noteiktām tradicionālās virtualizācijas ērtībām un jāpievērš īpaša uzmanība draiveriem, hipervizora versijām un GPU ražotāju atbalstam.