GPU Passthrough (vDGA) VMware-ben: Teljes útmutató

Fizikai GPU közvetlen csatlakoztatása virtuális géphez VMware-ben Ez egyike azoknak a változásoknak, amelyek nagy különbséget jelentenek nagy grafikai terhelés mellett. IA vagy 3D renderelés. Az emulált grafikus kártyáról a közvetlen hozzáférésű, áteresztőn keresztüli (vDGA / VMDirectPath I/O) átállás a virtuális gép teljesítményét közelebb hozhatja egy fizikai gép teljesítményéhez, de cserébe számos követelményt és korlátozást ad hozzá, amelyeket a kezdés előtt tisztában kell lenni.

Továbbá a jelenlegi ökoszisztémában a GPU virtualizált környezetekben történő felhasználásának számos módja létezik egyszerre: Dedikált áteresztés, megosztott vGPU és olyan technológiák, mint a BitFusion vagy a GPU-particionálásAnnak megértése, hogy mindegyik mit csinál, milyen esetekben illik hozzájuk, és hogyan van konfigurálva a vSphere/ESXi-ben (és hogyan kapcsolódik a hasonló technológiákhoz, mint például a Hyper-V DDA), kulcsfontosságú ahhoz, hogy ne kerüljünk zsákutcába a hardverrel vagy a kiválasztott hipervizor verzióval.

Mi a GPU áteresztés (vDGA / VMDirectPath I/O) a VMware-ben?

GPU áteresztés VMware-ben, más néven vDGA vagy VMDirectPath I/OEz egy olyan működési mód, amelyben az ESXi hosztba telepített fizikai grafikus kártya közvetlenül egy virtuális géphez van hozzárendelve. A hipervizor által emulált grafikus adapter használata helyett a vendég operációs rendszer szinte úgy látja a GPU-t, mintha egy fizikai alaplaphoz lenne csatlakoztatva.

Ez a gyorsbillentyű lehetővé teszi a virtuális gép számára, hogy kihasználja a következőket: a grafikus chip, a videomemória és a fejlett funkciók minden erejét például CUDA, OpenCL, Direct3D és OpenGL natívan, a hipervizor minimális többletterhelésével. A VMware laboratóriumi tesztjeiben jellemzően 4-5%-os teljesítményveszteségről számolnak be ugyanazon GPU bare metalban történő futtatásához képest.

A gyakorlatban a GPU-áteresztés használata azt jelenti, hogy Ez a kártya teljes mértékben egyetlen virtuális géphez van dedikálva.Nincs részletes erőforrás-elosztás több virtuális gép között, és nincs harmadik féltől származó szoftverréteg sem az ESXi-re betöltve a grafikus kártya megosztásához, ellentétben azzal, ami a vGPU megoldásokkal történik, mint például a NVIDIA RÁCS.

Fontos megkülönböztetni ezt a megközelítést a GPU-k virtualizációban való felhasználásának más módjaitól, mint például NVIDIA vGPU (megosztott vGPU), RemoteFX/particionálás Hyper-V vagy BitFusion típusú megoldásokon, amelyek célja egy GPU vagy GPU-készlet elosztása több gép között, különböző virtualizációs vagy távoli átirányítási technikákkal.

Amikor a VMware világában vDGA-ról beszélünk, lényegében ezt írjuk le a GPU PCIe eszközének közvetlen hozzárendelése a virtuális géphez VMDirectPath I/O használatával, annak minden előnyével (teljesítmény) és hátrányával (mobilitási és magas rendelkezésre állási korlátozások).

A GPU-áteresztés használatának előnyei vSphere-ben

A vDGA-ra való áttérés fő oka az, hogy A grafikai és számítási teljesítmény nagyon közel áll egy fizikai számítógépéhez.A PCIe eszköz virtualizációs rétegének nagy részének elhagyásával az emulált GPU tipikus szűk keresztmetszetei eltűnnek, és a virtuális gép sokkal simábban tud működni játékokkal, 3D alkalmazásokkal vagy mesterséges intelligencia motorokkal.

Ez különösen olyan esetekben észrevehető, amikor az integrált GPU-k vagy az alapértelmezett emulált virtuális grafikus kártya messze elmarad a várakozási időtől: Haladó grafikai tervezés, CAD, 3D modellezés és renderelés, videószerkesztés, animáció és játékfejlesztésKritikus fontosságú a gépi tanulási modellek és a CUDA-ra vagy azzal egyenértékű megoldásokra nagymértékben támaszkodó mesterséges intelligencia alapú munkaterhelések betanításában is.

Egy másik egyértelmű előny a hardverek rugalmasabb felhasználása az adatközpontok szintjén. Ahelyett, hogy egy fizikai munkaállomás felhasználónként vagy projektenkéntLehetséges egy megfelelő méretű ESXi hosztot több virtuális géphez dedikálni, mindegyikhez saját GPU-t rendelve az áteresztéshez, és ütemtervekkel vagy csúcsidőszaki igényekkel játszani.

Bizonyos környezetekben, különösen, ha már vannak szabad PCIe bővítőhelyekkel rendelkező szerverek, a felhasználónkénti vagy projektenkénti költség Ez kevesebb lehet, mint egy nagy teljesítményű fizikai munkaállomásokból álló flotta fenntartása, különösen akkor, ha a grafikus kártyára nincs szükség a nap 24 órájában, és az intenzív munkaidőszakoknak megfelelően átkonfigurálható.

Végül, közvetett előny is van a biztonság és a működés szempontjából: a grafikus munkaterhelések fenntartása révén elszigetelt virtuális gépeken belülHa valami rosszul sül el (egy sebezhetőségi hiba, egy problémás illesztőprogram, egy rossz konfiguráció), könnyebb a hatást korlátozni, visszatérni egy korábbi pillanatképhez vagy visszaállítani egy biztonsági mentésből, feltéve, hogy tiszteletben tartják az átvitel korlátait, amelyeket később látni fogunk.

GPU áteresztés vs. vGPU és más alternatívák

A VMware ökoszisztémán belül számos módja van a grafikus kártyák használatának, és nem mindegyik jár azzal, hogy teljes egészében egyetlen virtuális géphez dedikálják azokat. A legismertebbek a következők: vDGA / VMDirectPath I/O, vGPU (NVIDIA GRID vagy más) és távoli hozzáférési/számítástechnikai megoldások, mint például a BitFusion.

Közvetlen áteresztő módban (vDGA) a GPU-t a következőképpen osztják ki: kizárólag egy virtuális gépreA számítási magok és a VRAM nincsenek megosztva több virtuális gép között, és a hipervizor szerepe gyakorlatilag nem létezik a PCIe eszköz vendéggéphez való irányításán túl. Ez a legkönnyebben érthető lehetőség, és ez hasonlít leginkább egy dedikált grafikus kártyával rendelkező fizikai szerverre.

A vGPU-megközelítésben speciális szoftverek (például NVIDIA GRID vGPU VMware vSphere-enA GPU virtualizációját vezérlőszinten kezeli, és virtuális GPU-példányokat tesz elérhetővé, amelyek egyszerre több virtuális géphez is hozzárendelhetők. Minden vendéggép a GPU egy „szeletét” látja garantált vagy megosztott erőforrásokkal.

A vGPU-k lehetővé teszik, hogy több virtuális asztali számítógép vagy szerver megoszthassa egyetlen grafikus kártyát, ami nagyon hasznos a következőkben: VDI, könnyűsúlyú, gyorsított irodai környezetek, frontline grafikus munkaállomások kiskereskedelemben vagy vendéglátásbanvagy olyan forgatókönyvek, ahol a grafikai csúcshasználat egyenetlen a felhasználók között. Ennek következtében némi többletterhelés keletkezik, és nem érhető el ugyanaz a csúcsteljesítmény, mint ha egy teljes fizikai GPU-t egyetlen virtuális géphez dedikálnának.

Vannak olyan megoldások is, mint pl. BitFusion Flexdirect és hasonló technológiákamelyek lehetővé teszik a GPU-k hálózaton keresztüli felhasználását különböző virtuális gépekről, ami ideális mesterséges intelligencia és HPC terhelésekhez, ahol a GPU inkább távoli számítási erőforrásként működik, mint a felhasználó grafikus felületének videokártyájaként.

Válasszon a vDGA, a vGPU vagy egy távoli GPU modell közül Attól függ, hogy egyetlen géphez kell-e teljes mértékben kihasználnod egy GPU-t (áteresztés), hogy egy drága kártyát sok, közepes terhelésű felhasználó között szeretnél elosztani (vGPU), vagy a kulcs a GPU-készlet összehangolása az elosztott számítástechnikához (BitFusion és hasonlók).

Hardverkövetelmények vDGA használatához ESXi-n

Mielőtt GPU-áteresztést tervezne VMware-ben, győződjön meg arról, hogy a A hardverplatform számos feltételnek megfelel amelyek túlmutatnak a „grafikus kártya szerverhez csatlakoztatásán”.

Először is, az ESXi alaplap processzorának és lapkakészletének támogatnia kell a következőket: virtualizáció IOMMU-val. -Ban Intel Ez az Intel VT-x és VT-dy, valamint az AMD által az AMD-V-n keresztül IOMMU-val érhető el. A szerver BIOS/UEFI-ja általában tartalmaz erre vonatkozó speciális beállításokat. virtualizációs bővítmények aktiválása az I/O-ból.

Másodszor, ellenőrizni kell a tartólemezt MMIO memória-leképezés 4 GB felett (néha „4G feletti dekódolás”, „4G feletti memóriával leképezett I/O” vagy hasonló címkékkel ellátva). Ez különösen fontos a csúcskategóriás GPU-knál, mint például a Tesla, P100, V100 és hasonlók, amelyek nagyon nagy memóriaterületeket deklarálnak a BAR-jukban (alapcím regiszterekben).

Néhány ilyen csúcskategóriás kártya képes leképezni több mint 16 GB MMIO tárhelyEzért a játék mellett a BIOSEzután a vSphere speciális virtuálisgép-beállításainak bizonyos paramétereit módosítani kell, hogy a GPU-val a rendszer erőforráshiány miatti hibák nélkül tudjon indulni.

Természetesen magának a GPU-nak is kell lennie kompatibilis a szerver platformmal és a gazdagép gyártójának (Dell, HPE, Lenovostb.) áteresztő módban használva. A gyakorlatban a legtöbb modern PCIe GPU működik, de célszerű ellenőrizni a kompatibilitási listákat, különösen GRID kártyák vagy nagyon új modellek esetén.

Szoftverkövetelmények és verziókompatibilitás

Szoftveres szinten fontos tisztázni, hogy A VMware támogatja a vDGA-t a vSphere 6.x és újabb verzióiban.Néhány felhasználó azonban bizonyos hardverkombinációkkal kapcsolatos problémákról számolt be (például NVIDIA GRID GPU-k a Dell R720 szerverekben ESXi 6.x rendszerrel).

Ezekben az esetekben gyakran előfordulnak olyan hibák, mint például az „eszköz már használatban van”, vagy olyan tünetek, amelyek arra utalnak, hogy Az áteresztés leállt az ESXi 5.5-ről 6.x-re való frissítés utánamikor a valóságban konkrét hibákról, a PCI eszközkezelés vagy az illesztőprogramok változásairól van szó, nem pedig a támogatás hivatalos visszavonásáról.

A GPU-t áteresztésben használó vendég operációs rendszernek rendelkeznie kell a következővel: hivatalos gyártói illesztőprogramok telepítve a virtuális gépen (NVIDIA, AMD, Intel), mivel az ESXi nem tölt be semmilyen konkrét illesztőprogramot az adott kártyához a VMDirectPath I/O használatakor; a hipervizor egyszerűen elérhetővé teszi az eszközt a vendég számára.

Ezenkívül a virtuális gépet úgy kell konfigurálni, hogy a rendszerindításkor EFI vagy UEFI mód nagy MMIO memóriaterületeket deklaráló GPU-k használatakor. Ez a részlet kritikus: a helytelen virtuális gép firmware hibákhoz vezethet. csomagtartó vagy hogy a GPU nem inicializálódik megfelelően a vendég operációs rendszerből.

A kliens oldalon, ha a virtuális géphez való hozzáférés a következőn keresztül történik: Távoli asztal (RDP vagy más protokollok)A megfelelő szabályzatokat aktiválni kell, hogy a vendégrendszer a hardveres grafikus adaptert használja a távoli munkamenetekben, és ne egy általános, gyorsítás nélküli illesztőprogrammal ragadjon.

ESXi gazdagép konfigurálása GPU használatára áteresztő módban

Az első gyakorlati lépés az előkészítés vSphere/ESXi szerver GPU DirectPath I/O eszközként való elérhetővé tételéhezEz magában foglalja a BIOS elérését, a gazdagép PCI-leltárának ellenőrzését, és a kártya megjelölését, hogy az virtuális gépekhez rendelhető legyen.

Ha a GPU nagy MMIO memóriaterületeket igényel (16 GB vagy több), akkor a szerver BIOS-ában/UEFI-ben kell keresni az olyan lehetőségeket, mint például „4G feletti dekódolás” vagy „PCI 64 bites erőforrás-kezelés 4G felett” és aktiválja őket. A pontos név gyártónként változik, de általában a PCI konfigurációban vagy a speciális erőforrások részben található.

Miután az ESXi elindult ezekkel a beállításokkal, a vSphere kliensben a megfelelő gazdagépre léphet, és elérheti a következőket: „Konfigurálás → Hardver → PCI eszközök → Szerkesztés” Az észlelt PCI-eszközök listájának megtekintéséhez az NVIDIA, AMD vagy hasonló kártyákat fogja látni a szerver többi PCI hardverével együtt.

Ha a GPU még nincs engedélyezve a DirectPath I/O-hoz, egyszerűen jelölje be a négyzetet. átjáródoboz a bejáratnál a listán belül. A módosítások mentésekor a vSphere kérni fogja a gazdagép újraindítását a konfiguráció alkalmazásához, mivel a hipervizornak le kell foglalnia és elő kell készítenie az eszközt a virtuális gépekhez való újbóli hozzárendeléshez.

Az újraindítás után, a szakaszra való visszatéréskor „Konfigurálás → Hardver → PCI eszközök” Megjelenik egy „Virtuális gépek számára elérhető DirectPath I/O PCI eszközök” című ablak, amely felsorolja az összes olyan eszközt, amely elérhetővé vált a virtuális gépekben való használatra, beleértve a GPU-kat és sok esetben a fejlett hálózati adaptereket, mint például a Mellanox.

A virtuális gép előkészítése és konfigurálása

Miután a gazdagép elkészült, a következő lépés a GPU-t használó virtuális gép létrehozása vagy átalakítása. Az első dolog, amit meg kell győződni arról, hogy a virtuális gép Megfelelő EFI/UEFI firmware-rel készült., különösen csúcskategóriás GPU-kkal és magas MMIO-val rendelkező forgatókönyvek esetén.

A vSphere kliensben egyszerűen válassza ki a virtuális gépet, majd lépjen a következőre: „Beállítások szerkesztése → Virtuális gép beállításai → Rendszerindítási beállítások” és ellenőrizze, hogy az „EFI” vagy az „UEFI” van-e kiválasztva a „Firmware” mezőben. Ha nem, akkor módosítani kell (és bizonyos esetekben a virtuális gépet vagy az operációs rendszert újra kell létrehozni, ha nem támogatja ezt a hot-swapping funkciót).

Ha olyan kártyákkal használunk áteresztő funkciót, amelyek több mint 16 GB MMIO-területet leképeznek, célszerű néhány speciális paramétert módosítani a virtuális gép konfigurációjában, amelyek a következő címen érhetők el: „Beállítások szerkesztése → Virtuális gép beállításai → Speciális → Konfigurációs paraméterek → Konfiguráció szerkesztése”Ott hozzáadhatsz a pciPassthru-hoz kapcsolódó kulcsokat a címtartomány lefoglalásának szabályozásához.

Konkrétan a 64 bites MMIO használata általában engedélyezett, és az adott régióhoz egy méretet határoznak meg, amelyet a következőképpen számítanak ki: Hány csúcskategóriás GPU lesz lefoglalva a virtuális géphez?Az ökölszabály általában az, hogy a 16-ot megszorozzuk a GPU-k számával, és az eredményt felfelé kerekítjük a kettő következő hatványára (például két ilyen GPU 64 GB 64 bites MMIO-t eredményezne).

A paraméterek beállítása után elvégzik a telepítést, vagy ellenőrzik, hogy a A vendég operációs rendszer támogatja az EFI/UEFI-t, és képes kezelni a kérdéses memóriaméretet és GPU-t.Ezen a ponton a grafikus kártya még nincs csatlakoztatva a virtuális géphez; a környezetet egyszerűen előkészítik, hogy amikor ez megtörténik, minden hiba nélkül elinduljon az erőforrások hiánya vagy az inkompatibilis firmware miatt.

GPU hozzárendelése a virtuális géphez a VMDirectPath I/O használatával

Miután a gazdagép megjelölte a GPU-t elérhetőként a DirectPath I/O számára, és a virtuális gép megfelelően van konfigurálva, itt az ideje a következőnek: fizikailag társítsa a kártyát ehhez a virtuális géphezEzt a lépést teljesen kikapcsolt virtuális gép mellett kell elvégezni.

A vSphere kliensből válassza ki a virtuális gépet, és írja be a következőt: „Beállítások szerkesztése” a virtuális hardver áttekintéséhezAz eszközlistában rákattinthat az „Új eszköz hozzáadása” gombra, és ha a GPU még nem szerepel a listán, kiválaszthatja a „PCI eszköz” lehetőséget. Ezután válassza ki a grafikus kártyának megfelelő PCI eszközt (például a gazdagépen észlelt NVIDIA vagy AMD kártyát).

A konfiguráció mentése után a virtuális gép valami ilyesmit fog megjeleníteni a hardverén „PCI Device 0” (0. PCI eszköz) az adott GPU-hoz társítvaEttől a ponttól kezdve, amikor a vendég operációs rendszer elindul, egy további PCIe adaptert fog látni, amely megfelel a fizikai grafikus kártyának.

Lényeges, hogy a virtuális gép rendelkezzen a lefoglalta az összes hozzá lefoglalt memóriátA vSphere-ben ezt a „Beállítások szerkesztése → Virtuális hardver → Memória” menüpontban lehet konfigurálni, a „Foglalás” értéket pedig a virtuális géphez konfigurált RAM mennyiségére kell beállítani. E teljes foglalás nélkül a PCI átvitel sikertelen lehet, vagy időszakos problémák jelentkezhetnek.

A virtuális gép bekapcsolása után egy rendszeren Linux A GPU jelenléte ellenőrizhető a következővel: parancsok típus lspci | grep nvidia, míg Windowsban a „Videokártyák” alatt jelenik meg a EszközkezelőNormális, hogy mind a VMware emulált grafikus adaptert, mind a dedikált fizikai GPU-t látjuk.

Az utolsó lépés a következők telepítése a vendég eszközre: illesztőprogramok GPU gyártó tisztviselői, letöltve az NVIDIA, az AMD vagy az Intel weboldalairól, kerülve a generikus vagy a mellékelt illesztőprogramok használatát windows Updateamelyek esetleg nincsenek optimalizálva áteresztő forgatókönyvekhez.

A vSphere korlátozásai és funkciói, amelyek nem működnek vDGA-val

A GPU-áteresztés B oldala a VMware-ben az, hogy A platform számos fejlett funkciója elveszett egy fizikai eszköz közvetlenül egy virtuális géphez való hozzárendelésével. Ez az ára a közel natív teljesítménynek.

Az első nagy áldozat az vMotion és DRSEgy áteresztő módban lévő GPU-val rendelkező virtuális gép nem migrálható át azonnal egy másik gazdagépre, mivel a kártya fizikailag az eredeti szerverhez van zárolva. Az automatikus terheléselosztási szabályzatok, amelyek magukban foglalják a virtuális gép áthelyezését a fürtön belüli gazdagépek között, szintén nem használhatók.

Olyan jellemzők, mint például Hagyományos pillanatképek vagy bizonyos magas rendelkezésre állású mechanizmusok az adott virtuális géphez. Mivel nagyon speciális fizikai hardverre támaszkodik, az összetett állapotok befagyasztásának és visszaállításának képessége korlátozott.

Egy másik szempont, amit érdemes figyelembe venni, hogy ebben a módban A GPU nincs megosztva több virtuális gép közöttHa több grafikus gyorsítással rendelkező asztali számítógépre vagy szerverre van szükség ugyanazon a gépen, akkor virtuális gépenként egy kártyára lesz szükség, vagy alternatívaként vGPU modell használható, ahol a kártya több példányon virtualizált.

A támogatási oldalon lehetnek olyan speciális esetek, amikor Bizonyos hardver- és illesztőprogram-kombinációk problémákat okozhatnakAhogy azt egyes felhasználók megfigyelték, amikor ESXi 6.x-re frissítettek NVIDIA GRID kártyákkal bizonyos szervereken (pl. Dell R720), ajánlott áttekinteni a VMware és a GPU gyártói dokumentációját, és szükség esetén támogatási eseteket nyitni.

Végül meg kell jegyezni, hogy bizonyos technológiák vagy szolgáltatások, amelyek kölcsönhatásba lépnek a grafikával, mint például távoli asztalok, Linux alrendszerek Windows rendszerben vagy speciális operációs rendszer funkciókEzek zavarhatják vagy „43-as kódú” hibákat okozhatnak az NVIDIA illesztőprogramokban, ha azt észlelik, hogy egy GPU-áteresztéssel rendelkező virtuális gépen belül dolgozol.

GPU áteresztés más hipervizorokban: párhuzamosan a Hyper-V-vel

Bár itt a VMware-re fókuszálunk, érdemes megérteni, hogyan más hipervizorok (például virtualizáció KVM-mel és Virt-Managerrel) ugyanazt az igényt elégítik ki, mint egy fizikai GPU virtuális géphez való hozzárendelésemert a terminológia és az eszközök változnak, de az alapötlet hasonló.

A Hyper-V-ben a VMware VMDirectPath I/O megfelelője a közvetlen eszközhozzárendelés DDA (diszkrét eszközhozzárendelés) használatávalEz a technika lehetővé teszi egy adott PCIe-eszköz, például egy GPU vagy egy NVMe leképezését közvetlenül egy Windows virtuális gépen belül, az ESXi áteresztőképességéhez hasonló szintű vezérléssel és teljesítménnyel.

A Windows Server régebbi verziói ezt a technológiát használták RemoteFX GPU virtualizációt kínál, és egy grafikus kártyát több virtuális gép között oszt meg. El TiempoBiztonsági problémák és teljesítménybeli korlátok (például az 1 GB VRAM virtuális gépenkénti korlátja és a 30 FPS) miatt a Microsoft visszavonta a RemoteFX-et, és a DDA-t hagyta meg elsődleges útvonalként a dedikált GPU-forgatókönyvek esetében.

Windows 10 és A windows 11Különösen bizonyos összeállításoknál jelent meg a támogatás a következőkhöz: GPU particionálás és újrafelhasznált mechanizmusok a WSL2-ből és a Windows SandboxbólA konfigurálása azonban általában összetett szkripteket és illesztőprogramok másolását foglalja magában a gazdagépről a vendéggépre, ami nem olyan egyszerű, mint egy eszköz hozzárendelése a vSphere-ben.

Ezen alternatívák ismerete lehetővé teszi számunkra, hogy lássuk, A GPU-hoz való közel natív hozzáférés közvetlen PCIe csatornán keresztüli biztosításának filozófiája Több hipervizorban is közös, bár mindegyiknek megvannak a saját árnyalatai, parancsai és kompatibilitási korlátozásai.

Ez a teljes áteresztésből, vGPU-ból és DDA-ból álló ökoszisztéma azt bizonyítja, hogy megfelelően konfigurálva és a megfelelő hardverrel, Teljesen megvalósítható nagy teljesítményű GPU-k használata virtuális gépek éles üzembe Az igényes grafikus asztali gépektől a mesterséges intelligenciáig és a HPC-ig terjedő munkaterhelések esetében mindig feltételezzük, hogy le kell mondanunk a hagyományos virtualizáció bizonyos kényelméről, és különös figyelmet kell fordítanunk az illesztőprogramokra, a hipervizor verziókra és a GPU gyártói támogatására.