Przepustowość GPU (vDGA) w VMware: kompletny przewodnik

Podłączanie fizycznego procesora GPU bezpośrednio do maszyny wirtualnej w VMware To jedna ze zmian, która robi dużą różnicę podczas pracy z dużymi obciążeniami graficznymi. IA lub renderowania 3D. Przejście z emulowanej karty graficznej na bezpośredni dostęp przez passthrough (vDGA/VMDirectPath I/O) może zbliżyć wydajność maszyny wirtualnej do wydajności maszyny fizycznej, ale w zamian za to wprowadza szereg wymagań i ograniczeń, które powinny być jasne przed rozpoczęciem.

Co więcej, w obecnym ekosystemie współistnieje kilka sposobów wykorzystania GPU w środowiskach wirtualizowanych: Dedykowane przejście, współdzielony vGPU i technologie takie jak BitFusion lub partycjonowanie GPUZrozumienie, co każdy z nich robi, w jakich przypadkach pasuje i jak jest skonfigurowany w vSphere/ESXi (oraz jak odnosi się do podobnych technologii, takich jak Hyper-V DDA), jest kluczowe, aby nie popaść w ślepą uliczkę ze sprzętem lub wybraną wersją hiperwizora.

Czym jest funkcja GPU passthrough (vDGA/VMDirectPath I/O) w środowisku VMware

Przepustowość GPU w VMware, znana również jako vDGA lub VMDirectPath I/OJest to tryb działania, w którym fizyczna karta graficzna zainstalowana w hoście ESXi jest bezpośrednio przypisana do maszyny wirtualnej. Zamiast korzystać z karty graficznej emulowanej przez hiperwizor, system operacyjny gościa widzi kartę graficzną niemal tak, jakby była podłączona do fizycznej płyty głównej.

Ten skrót pozwala maszynie wirtualnej na skorzystanie z zalet cała moc układu graficznego, jego pamięć wideo i zaawansowane funkcje takie jak CUDA, OpenCL, Direct3D i OpenGL natywnie, z bardzo niewielkim dodatkowym obciążeniem ze strony hiperwizora. W testach laboratoryjnych VMware zazwyczaj odnotowuje się spadek wydajności o około 4-5% w porównaniu z uruchomieniem tego samego procesora graficznego na gołym komputerze.

W praktyce korzystanie z funkcji passthrough GPU oznacza, że Ta karta jest w całości dedykowana jednej maszynie wirtualnej.Nie ma tu szczegółowego przydzielania zasobów między wieloma maszynami wirtualnymi ani nie ma warstwy oprogramowania innej firmy załadowanej do ESXi w celu udostępniania karty graficznej, w przeciwieństwie do rozwiązań vGPU, takich jak NVIDIA KRATA.

Ważne jest, aby odróżnić to podejście od innych sposobów wykorzystania procesorów graficznych w wirtualizacji, takich jak: NVIDIA vGPU (współdzielone vGPU), RemoteFX/partycjonowanie w rozwiązaniach typu Hyper-V lub BitFusion, których celem jest dystrybucja procesora graficznego lub puli procesorów graficznych pomiędzy wiele maszyn przy użyciu różnych technik wirtualizacji lub zdalnego przekierowywania.

Kiedy mówimy o vDGA w świecie VMware, w zasadzie opisujemy to bezpośrednie przypisanie urządzenia PCIe GPU do maszyny wirtualnej korzystając z VMDirectPath I/O, ze wszystkimi dobrymi (wydajność) i złymi (ograniczenia mobilności i wysokiej dostępności) konsekwencjami tego rozwiązania.

Zalety korzystania z funkcji passthrough GPU w vSphere

Głównym powodem przejścia na vDGA jest to, że Wydajność graficzna i obliczeniowa jest bardzo zbliżona do wydajności fizycznego komputera.Dzięki pominięciu dużej części warstwy wirtualizacji dla urządzenia PCIe typowe wąskie gardła emulowanego procesora graficznego znikają, a maszyna wirtualna może znacznie płynniej współpracować z grami, aplikacjami 3D i silnikami AI.

Jest to szczególnie zauważalne w scenariuszach, w których zintegrowane procesory graficzne lub domyślna emulowana wirtualna karta graficzna nie spełniają oczekiwań: Zaawansowane projektowanie graficzne, CAD, modelowanie i renderowanie 3D, edycja wideo, animacja i tworzenie gierMa również kluczowe znaczenie w szkoleniu modeli uczenia maszynowego i obciążeń AI, które w dużym stopniu opierają się na CUDA lub odpowiednikach.

Kolejną wyraźną zaletą jest bardziej elastyczne wykorzystanie sprzętu na poziomie centrum danych. Zamiast stanowisko pracy fizycznej na użytkownika lub na projektMożna przeznaczyć odpowiednio duży host ESXi na kilka maszyn wirtualnych, z których każda będzie miała własny procesor GPU w trybie passthrough, i eksperymentować z harmonogramami lub szczytowym zapotrzebowaniem.

W niektórych środowiskach, zwłaszcza gdy serwery z wolnymi gniazdami PCIe są już dostępne, koszt na użytkownika lub na projekt Może to być tańsze niż utrzymanie floty wydajnych fizycznych stacji roboczych, zwłaszcza jeśli karta graficzna nie jest potrzebna 24 godziny na dobę i można ją konfigurować w okresach intensywnej pracy.

Wreszcie istnieje również pośrednia korzyść w zakresie bezpieczeństwa i operacji: utrzymanie obciążeń graficznych w odizolowanych maszynach wirtualnychJeśli coś pójdzie nie tak (eksploatacja, problematyczny sterownik, zła konfiguracja), łatwiej jest ograniczyć skutki, powrócić do poprzedniej migawki lub przywrócić dane z kopii zapasowej, o ile ograniczenia dotyczące przekazywania danych, o których powiemy później, są przestrzegane.

Przepustowość GPU w porównaniu z vGPU i innymi alternatywami

W ekosystemie VMware istnieje kilka sposobów wykorzystania karty graficznej i nie wszystkie z nich wymagają jej całkowitego wykorzystania przez jedną maszynę wirtualną. Najbardziej znane to: vDGA / VMDirectPath I/O, vGPU (NVIDIA GRID lub inne) i rozwiązania zdalnego dostępu/obliczeń, takie jak BitFusion.

W trybie bezpośredniego przekazywania (vDGA) procesorowi graficznemu przydzielany jest wyłącznie do maszyny wirtualnejRdzenie obliczeniowe i pamięć VRAM nie są współdzielone przez wiele maszyn wirtualnych, a rola hiperwizora jest praktycznie zerowa i ogranicza się do kierowania urządzenia PCIe do gościa. To najłatwiejsza do zrozumienia opcja i najbardziej przypominająca fizyczny serwer z dedykowaną kartą graficzną.

W podejściu vGPU specjalistyczne oprogramowanie (np. NVIDIA GRID vGPU na VMware vSphereObsługuje wirtualizację GPU na poziomie kontrolera i udostępnia wirtualne instancje GPU, które można przypisać do wielu maszyn wirtualnych jednocześnie. Każda maszyna gościa widzi „wycinek” GPU z gwarantowanymi lub współdzielonymi zasobami.

vGPU umożliwiają wielu wirtualnym pulpitom lub serwerom współdzielenie jednej karty graficznej, co jest bardzo przydatne w VDI, lekkie, przyspieszone środowiska biurowe, stacje robocze do pracy w branży graficznej w handlu detalicznym i hotelarstwielub scenariusze, w których szczytowe wykorzystanie grafiki jest nierównomierne dla różnych użytkowników. W rezultacie występuje pewien narzut, a maksymalna wydajność nie jest osiągana w przypadku całego fizycznego procesora GPU dedykowanego dla jednej maszyny wirtualnej.

Istnieją również rozwiązania takie jak: BitFusion Flexdirect i podobne technologiektóre umożliwiają korzystanie z procesorów GPU za pośrednictwem sieci z różnych maszyn wirtualnych, co jest idealnym rozwiązaniem w przypadku obciążeń związanych ze sztuczną inteligencją i obliczeniami o wysokiej wydajności (HPC), w których procesor GPU działa bardziej jako zdalny zasób obliczeniowy niż karta graficzna graficznego interfejsu użytkownika.

Wybierz pomiędzy vDGA, vGPU lub zdalnym modelem GPU Zależy to od tego, czy potrzebujesz w pełni wykorzystać procesor graficzny na pojedynczej maszynie (passthrough), czy chcesz rozdzielić drogą kartę pomiędzy wielu użytkowników o średnim obciążeniu (vGPU), czy też kluczowe jest zorganizowanie puli procesorów graficznych na potrzeby rozproszonego przetwarzania (BitFusion i podobne).

Wymagania sprzętowe do korzystania z vDGA na ESXi

Przed zaplanowaniem wdrożenia funkcji GPU passthrough w środowisku VMware należy upewnić się, że Platforma sprzętowa spełnia szereg warunków które wykraczają poza „podłączenie karty graficznej do serwera”.

Po pierwsze, procesor i chipset płyty głównej hosta ESXi muszą obsługiwać wirtualizacja z IOMMU. W Intel Osiąga się to poprzez Intel VT-x plus VT-dy oraz przez AMD poprzez AMD-V z IOMMU. BIOS/UEFI serwera zazwyczaj zawiera określone opcje w tym zakresie. aktywuj rozszerzenia wirtualizacji wejścia/wyjścia.

Po drugie, należy sprawdzić, czy płyta podporowa Mapowanie pamięci MMIO powyżej 4 GB (czasami oznaczane jako „dekodowanie powyżej 4G”, „mapowanie pamięci I/O powyżej 4G” lub podobne). Jest to szczególnie ważne w przypadku zaawansowanych procesorów graficznych, takich jak Tesla, P100, V100 i równoważne, które deklarują bardzo duże obszary pamięci w swoich rejestrach BAR (Base Address Registers).

Niektóre z tych kart high-end mogą mapować ponad 16 GB przestrzeni MMIODlatego oprócz grania BIOSNastępnie konieczne będzie dostosowanie pewnych parametrów w zaawansowanych ustawieniach maszyny wirtualnej w vSphere, aby możliwe było uruchomienie jej z danym procesorem GPU bez błędów związanych z niewystarczającymi zasobami.

Oczywiście, sam procesor graficzny musi być kompatybilny z platformą serwerową i być wspierane przez producenta hosta (Dell, HPE, Lenovoitp.) w trybie passthrough. W praktyce większość nowoczesnych kart graficznych PCIe działa, ale zaleca się sprawdzenie list zgodności, szczególnie w przypadku kart GRID lub bardzo nowych modeli.

Wymagania programowe i zgodność wersji

Na poziomie oprogramowania ważne jest, aby mieć jasność, że Firma VMware obsługuje technologię vDGA w systemie vSphere 6.x i nowszych wersjachNiektórzy użytkownicy zgłaszali jednak specyficzne problemy z pewnymi kombinacjami sprzętowymi (na przykład procesorami graficznymi NVIDIA GRID w serwerach Dell R720 z ESXi 6.x).

W takich przypadkach często pojawiają się błędy takie jak „urządzenie jest już używane” lub objawy sugerujące, że Przejście przestało działać po uaktualnieniu z ESXi 5.5 do 6.xgdy w rzeczywistości chodzi o konkretne błędy, zmiany w zarządzaniu urządzeniami PCI lub sterownikach, a nie o oficjalne wycofanie wsparcia.

System operacyjny gościa, który będzie korzystał z procesora GPU w trybie passthrough, musi mieć oficjalne sterowniki producenta zainstalowane w maszynie wirtualnej (NVIDIA, AMD, Intel), ponieważ ESXi nie ładuje żadnego konkretnego sterownika dla tej karty podczas korzystania z VMDirectPath I/O; hiperwizor po prostu udostępnia urządzenie gościowi.

Ponadto maszyna wirtualna musi być skonfigurowana do uruchamiania Tryb EFI lub UEFI w przypadku korzystania z procesorów graficznych deklarujących duże obszary pamięci MMIO. Ten szczegół jest krytyczny: nieprawidłowe oprogramowanie sprzętowe maszyny wirtualnej może prowadzić do awarii. boot lub że procesor graficzny nie inicjuje się prawidłowo z poziomu systemu operacyjnego gościa.

Po stronie klienta, jeśli dostęp do maszyny wirtualnej odbywa się poprzez Zdalny pulpit (RDP lub inne protokoły)Konieczne będzie aktywowanie odpowiednich zasad, aby system gościa mógł używać karty graficznej podczas sesji zdalnych i nie był ograniczony do ogólnego sterownika bez przyspieszenia.

Konfigurowanie hosta ESXi do używania procesora graficznego w trybie passthrough

Pierwszym praktycznym krokiem jest przygotowanie Serwer vSphere/ESXi udostępniający procesor graficzny jako urządzenie wejścia/wyjścia DirectPathWiąże się to z uzyskaniem dostępu do BIOS-u, sprawdzeniem stanu PCI na hoście i oznaczeniem karty, tak aby można ją było przypisać do maszyn wirtualnych.

Jeśli procesor graficzny wymaga dużych obszarów pamięci MMIO (16 GB lub więcej), należy poszukać w BIOS-ie/UEFI serwera opcji takich jak: „Dekodowanie powyżej 4G” lub „Obsługa zasobów PCI 64‑bitowych powyżej 4G” i aktywuj je. Konkretna nazwa różni się w zależności od producenta, ale zazwyczaj można ją znaleźć w ustawieniach PCI lub sekcji zasobów zaawansowanych.

Po uruchomieniu ESXi z tymi ustawieniami w kliencie vSphere można przejść do odpowiedniego hosta i uzyskać dostęp „Konfiguruj → Sprzęt → Urządzenia PCI → Edytuj” Na liście wykrytych urządzeń PCI znajdziesz karty NVIDIA, AMD i podobne, a także resztę sprzętu PCI serwera.

Jeśli procesor graficzny nie jest jeszcze włączony dla funkcji DirectPath I/O, wystarczy zaznaczyć to pole. skrzynka przepustowa przy wejściu na tej liście. Podczas zapisywania zmian, vSphere poprosi o ponowne uruchomienie hosta w celu zastosowania konfiguracji, ponieważ hiperwizor musi zarezerwować i przygotować urządzenie do ponownego przypisania do maszyn wirtualnych.

Po ponownym uruchomieniu, po powrocie do sekcji „Konfiguruj → Sprzęt → Urządzenia PCI” Wyświetli się okno zatytułowane na przykład „Urządzenia DirectPath I/O PCI dostępne dla maszyn wirtualnych”, w którym wymienione będą wszystkie urządzenia udostępnione do użytku w maszynach wirtualnych, w tym procesory GPU i, w wielu przypadkach, zaawansowane karty sieciowe, takie jak Mellanox.

Przygotowanie i konfiguracja maszyny wirtualnej

Po przygotowaniu hosta kolejnym krokiem jest utworzenie lub dostosowanie maszyny wirtualnej, która będzie korzystać z GPU. Najpierw należy upewnić się, że maszyna wirtualna Został stworzony przy użyciu odpowiedniego oprogramowania sprzętowego EFI/UEFI., szczególnie w scenariuszach z wydajnymi procesorami GPU i wysokim MMIO.

W kliencie vSphere wystarczy wybrać maszynę wirtualną i przejść do „Edytuj ustawienia → Opcje maszyny wirtualnej → Opcje rozruchu” i sprawdź, czy w polu „Oprogramowanie sprzętowe” wybrano opcję „EFI” lub „UEFI”. Jeśli nie, konieczna będzie zmiana (a w niektórych przypadkach konieczne będzie ponowne utworzenie maszyny wirtualnej lub systemu operacyjnego, jeśli nie obsługuje on funkcji hot-swap).

W przypadku korzystania z funkcji passthrough z kartami mapującymi więcej niż 16 GB przestrzeni MMIO, zaleca się dostosowanie niektórych zaawansowanych parametrów w konfiguracji maszyny wirtualnej, dostępnej z „Edytuj ustawienia → Opcje maszyny wirtualnej → Zaawansowane → Parametry konfiguracji → Edytuj konfigurację”Tam możesz dodać klucze związane z pciPassthru, aby kontrolować sposób rezerwowania przestrzeni adresowej.

Dokładniej rzecz ujmując, zazwyczaj włączane jest użycie 64-bitowego MMIO i dla danego regionu definiowany jest rozmiar, obliczany na podstawie Ile procesorów graficznych najwyższej klasy zostanie przydzielonych do maszyny wirtualnej?Zasada jest taka, że ​​należy pomnożyć 16 przez liczbę procesorów GPU i zaokrąglić wynik do najbliższej potęgi liczby dwa (na przykład, dwa takie procesory GPU dałyby 64 GB 64-bitowej pamięci MMIO).

Po dostosowaniu tych parametrów wykonuje się instalację lub weryfikuje, czy System operacyjny gościa obsługuje EFI/UEFI i jest w stanie obsłużyć wymagany rozmiar pamięci i procesor graficzny.Na tym etapie karta graficzna nie została jeszcze podłączona do maszyny wirtualnej. Środowisko jest po prostu przygotowywane tak, aby po podłączeniu wszystko uruchomiło się bez błędów spowodowanych brakiem zasobów lub niekompatybilnym oprogramowaniem sprzętowym.

Przypisz GPU do maszyny wirtualnej za pomocą VMDirectPath I/O

Gdy host oznaczy kartę graficzną jako dostępną dla funkcji DirectPath I/O i maszyna wirtualna zostanie poprawnie skonfigurowana, nadszedł czas na fizycznie skojarz kartę z tą maszyną wirtualnąTen krok należy wykonać przy całkowicie wyłączonej maszynie wirtualnej.

Z poziomu klienta vSphere wybierz maszynę wirtualną i wprowadź „Edytuj ustawienia”, aby sprawdzić wirtualny sprzętNa liście urządzeń możesz kliknąć „Dodaj nowe urządzenie” i wybrać „Urządzenie PCI”, jeśli karta graficzna nie znajduje się jeszcze na liście. Następnie wybierz urządzenie PCI odpowiadające karcie graficznej (na przykład kartę NVIDIA lub AMD wykrytą na hoście).

Po zapisaniu konfiguracji maszyna wirtualna wyświetli na swoim sprzęcie coś takiego „Urządzenie PCI 0” powiązane z konkretnym procesorem graficznymOd tego momentu, gdy uruchomi się system operacyjny gościa, będzie on widział dodatkowy adapter PCIe odpowiadający fizycznej karcie graficznej.

Istotne jest, aby maszyna wirtualna miała zarezerwował całą przydzieloną mu pamięćW vSphere konfiguruje się to w „Edycja ustawień → Sprzęt wirtualny → Pamięć”, ustawiając wartość „Rezerwacja” na ilość pamięci RAM skonfigurowaną dla maszyny wirtualnej. Bez tej pełnej rezerwacji, przepustowość PCI może się nie powieść lub mogą występować sporadyczne problemy.

Po włączeniu maszyny wirtualnej w systemie Linux Obecność GPU można zweryfikować za pomocą polecenia tipo lspci | grep nvidia, natomiast w systemie Windows będzie on widoczny w sekcji „Karty graficzne” Menedżer urządzeńNormalne jest, że widoczna jest zarówno emulowana karta graficzna VMware, jak i dedykowany fizyczny procesor GPU.

Ostatnim krokiem jest instalacja następujących elementów na urządzeniu gościa: sterowniki Przedstawiciele producenta GPU, pobrane ze stron internetowych firm NVIDIA, AMD lub Intel, unikając polegania na sterownikach ogólnych lub dostarczonych Windows Updatektóre mogą nie być zoptymalizowane pod kątem scenariuszy tranzytowych.

Ograniczenia i funkcje vSphere, które nie działają z vDGA

Strona B przejścia GPU w VMware to: Kilka zaawansowanych funkcji platformy zostało utraconych dedykując urządzenie fizyczne bezpośrednio maszynie wirtualnej. To cena, jaką trzeba zapłacić za wydajność bliską wydajności natywnej.

Pierwszą wielką ofiarą jest vMotion i DRSMaszyny wirtualnej z procesorem GPU w trybie passthrough nie można przenieść na inny host, ponieważ karta jest fizycznie przypisana do serwera oryginalnego. Nie można również korzystać z automatycznych zasad równoważenia obciążenia, które obejmują przenoszenie maszyny wirtualnej między hostami w klastrze.

Funkcje takie jak Tradycyjne migawki lub niektóre mechanizmy wysokiej dostępności dla tej konkretnej maszyny wirtualnej. Ponieważ opiera się ona na bardzo specyficznym sprzęcie fizycznym, możliwość zamrożenia i przywrócenia złożonych stanów jest ograniczona.

Innym aspektem, który należy wziąć pod uwagę, jest to, że w tym trybie Procesor graficzny nie jest współdzielony pomiędzy wieloma maszynami wirtualnymiJeśli na tej samej maszynie potrzeba wielu komputerów stacjonarnych lub serwerów z akceleracją graficzną, wymagana będzie jedna karta na każdą maszynę wirtualną. Można też zastosować model vGPU, w którym karta jest wirtualizowana na wielu instancjach.

Po stronie wsparcia mogą występować szczególne przypadki, w których Niektóre kombinacje sprzętu i sterowników powodują problemyJak zauważyli niektórzy użytkownicy podczas aktualizacji do ESXi 6.x z kartami NVIDIA GRID na niektórych serwerach (np. Dell R720), w takich scenariuszach zaleca się zapoznanie się z dokumentacją firmy VMware i producenta procesorów graficznych oraz, w razie potrzeby, złożenie zgłoszenia do pomocy technicznej.

Na koniec należy zauważyć, że niektóre technologie lub usługi, które oddziałują z grafiką, takie jak pulpity zdalne, podsystemy Linux w systemie Windows lub zaawansowane funkcje systemu operacyjnegoMogą one zakłócać działanie sterowników NVIDIA lub powodować błędy „Code 43” w przypadku wykrycia pracy w maszynie wirtualnej z funkcją passthrough dla procesora GPU.

Przepustowość GPU w innych hiperwizorach: równolegle z Hyper-V

Chociaż w tym artykule skupimy się na firmie VMware, warto zrozumieć, jak inne hiperwizory (na przykład wirtualizacja z KVM i virt-manager) rozwiązuje ten sam problem, jakim jest przydzielenie fizycznego procesora GPU do maszyny wirtualnejponieważ terminologia i narzędzia ulegają zmianie, ale podstawowa idea jest podobna.

W Hyper-V odpowiednikiem VMware VMDirectPath I/O jest bezpośrednie przypisanie urządzenia za pomocą DDA (Discrete Device Assignment)Technika ta umożliwia mapowanie konkretnego urządzenia PCIe, takiego jak GPU lub NVMe, bezpośrednio w maszynie wirtualnej Windows, zapewniając poziom kontroli i wydajności podobny do trybu passthrough w ESXi.

Starsze wersje systemu Windows Server wykorzystywały tę technologię RemoteFX aby zapewnić wirtualizację GPU i udostępniać kartę graficzną wielu maszynom wirtualnym. El TiempoZe względu na problemy z bezpieczeństwem i ograniczenia wydajności (takie jak limit 1 GB pamięci VRAM na maszynę wirtualną i 30 FPS) firma Microsoft wycofała się z RemoteFX i pozostawiła DDA jako główną ścieżkę dla scenariuszy wykorzystujących dedykowane procesory GPU.

W systemie Windows 10 i Windows 11W szczególności w przypadku niektórych kompilacji pojawiło się wsparcie dla Partycjonowanie GPU i mechanizmy ponownego wykorzystania z WSL2 i Windows SandboxJednak jego konfiguracja zwykle obejmuje skomplikowane skrypty i kopiowanie sterowników z hosta do gościa, co nie jest tak proste jak przypisanie urządzenia w vSphere.

Znajomość tych alternatyw pozwala nam zobaczyć, że Filozofia oferowania niemal natywnego dostępu do GPU za pośrednictwem bezpośredniego kanału PCIe Jest to rozwiązanie wspólne dla wielu hiperwizorów, chociaż każdy z nich ma swoje własne niuanse, polecenia i ograniczenia zgodności.

Cały ten ekosystem obejmujący technologię passthrough, vGPU i DDA pokazuje, że przy prawidłowej konfiguracji i odpowiednim sprzęcie, W pełni wykonalne jest wykorzystanie wydajnych procesorów graficznych maszyny wirtualne do produkcji W przypadku obciążeń obejmujących wymagające komputery stacjonarne z grafiką, sztuczną inteligencję i obliczenia o wysokiej wydajności (HPC) zawsze należy zakładać, że konieczna będzie rezygnacja z pewnych udogodnień tradycyjnej wirtualizacji oraz zwracanie szczególnej uwagi na sterowniki, wersje hiperwizorów i wsparcie producenta procesorów graficznych.