Kuidas installida NVIDIA CUDA Windowsi ja Linuxi (WSL ja Native)

Kui töötad tehisintellekti, andmeteaduse või simulatsioonidega, on NVIDIA CUDA installimine üks neist sammudest, mis muudab kõike. GPU kiirendus mitmekordistab jõudlust ja täna selgitan üksikasjalikult ja ilma liiale minemata, kuidas seda nii Windowsis (sh WSL) kui ka natiivses Linuxis seadistada.

Siit leiad kõike alates eeltingimustest ja eelkontrollidest kuni draiverite installimiseni, CUDA tööriistakomplekti, PyTorchi ja Dockeriga testimiseni ning boonusjaotise Miniconda, swapi ja serveri konfiguratsioonide kohta. See juhend koondab parimad tavad ja parandab levinud lõkse, et sa ei raiskaks aega ilmselgetele asjadele.

Mis on CUDA ja miks see võiks teile korda minna

CUDA on NVIDIA paralleelarvutuse ökosüsteem, mis võimaldab teil oma GPU-d kasutada palju enamaks kui ainult graafika jaoks. See hõlmab kompilaatoreid, teeke ja tööriistu , mis kiirendavad töökoormusi, näiteks süvaõpet, teaduslikku analüüsi ja simulatsioone.

Versioonid nagu 11.8 ja 12.6 pakuvad jõudluse täiustusi, tuge uusimale riistvarale , täiustatud mäluhaldust ja viimistletud integratsiooni raamistikega nagu TensorFlow ja PyTorch. Tulemuseks on suurem kiirus ja stabiilsus nõudlikes projektides.

Lisaks kõrgetasemelistele teekidele orkestreerib CUDA käituskeskkond kerneli täitmist, haldab GPU mälu ja võimaldab teie rakendustel skaleeruda, kasutades paralleelselt tuhandeid südamikke. Kaasaegsete tehisintellekti töökoormuste jaoks on see sõna otseses mõttes alus.

Kui arendate Windowsi keskkonnas, on peamiseks eeliseks see, et WSL2 võimaldab teil CUDA-d peaaegu natiivselt kasutada Linuxi distributsioonides, nagu Ubuntu või Debian, toetades Dockerit ja NVIDIA Container Toolkiti. See on väga võimas valik segatud keskkondade jaoks.

Nõuded ja ühilduvus

Enne mis tahes installimist veenduge, et teie riistvara ja süsteem vastavad nõuetele. Teil on vaja NVIDIA graafikakaarti, millel on CUDA 11.8 jaoks arvutusvõime 3.0 või uuem ja kaasaegsem tugi uuematele versioonidele, näiteks 12.6.

Linuxis saad GPU olemasolu kontrollida käsuga `lspci | grep -i nvidia` . Ubuntul soovitatud draiveri leidmiseks proovi käsku `ubuntu-drivers devices` . Windowsis vaata seadmehaldurit jaotisest 'Kuva adapterid'.

Süsteemide osas on CUDA 11.8 laialdaselt kasutusel 64-bitistes Windows 10/11 versioonides ja distributsioonides nagu Ubuntu 18.04 ja 20.04, samuti RHEL/CentOS 7/8. WSL-i puhul toetavad Windows 11 ja Windows 10 versioon 21H2 või uuem GPU-arvutust CUDA-ga Linuxi alamsüsteemis.

WSL2 puhul veenduge, et teil on ajakohane kernel. Vajalik on versioon 5.10.43.3 või uuemSaate versiooni kontrollida siit PowerShell koos: wsl cat /proc/versionSamuti hoidke Windows Update ajakohane (Seaded > Windows Update > Kontrolli värskendusi).

Mälu osas on treeningülesannete jaoks soovitatav vähemalt 8 GB süsteemi muutmälu ja 4 GB graafikakaardi videomälu, kuigi paljud mudelid saavad sellest oluliselt rohkem kasu. Nimekirja täiendavad x86_64 protsessor ja kaasaegne C++ kompilaator (C++14 või uuem).

Paigaldamine Windows 11/10-le koos WSL2-ga

Õige järjekord aitab vältida peavalu: kõigepealt luba WSL ja installi Linux, seejärel NVIDIA draiverid Windowsile ning WSL-i sees CUDA Toolkit ja teie tehisintellekti teegid. Soovi korral lisage lõppu Docker Desktop.

1) Luba WSL PowerShellis administraatoriõigustega: aktiveeri funktsioon ja taaskäivita, kui seda küsitakse.

Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Windows-Subsystem-Linux

2) Värskenda WSL-i kernel PowerShelli abil uusimale võimalikule versioonile: `wsl --update` . Seejärel installi oma eelistatud distributsioon (näiteks Ubuntu 22.04 LTS):

wsl --install -d Ubuntu-22.04

3) Avage äsja installitud Ubuntu rakendus, värskendage indekseid ja pakette ning installige põhilised utiliidid. Süsteemi ajakohasena hoidmine vähendab tulevasi vigu.

sudo apt update && sudo apt -y upgrade

4) Ubuntu (WSL) sees installige ametlikest repositooriumidest Python pip ja CUDA tööriistakomplekt. GPU draivereid ei installita WSL-is Linuxi kerneli; need installitakse Windowsi.

sudo apt -y install python3-pip nvidia-cuda-toolkit

5) Lisa oma teele (PATH) kasutajaskriptide tee, et vältida probleeme pip-iga installitud tööriistade käivitamisel. See kiirendab absoluutsete teedeta utiliitide kasutamist .

nano ~/.bashrc
# Al final añade, adaptando 'usergpu' a tu usuario
export PATH=/home/usergpu/.local/bin${PATH:+:${PATH}}
# Guarda (Ctrl+O), sal (Ctrl+X) y recarga
source ~/.bashrc

6) Paigalda Windowsi jaoks NVIDIA draiver WSL-i jaoks . Laadi CUDA-toega draiver alla NVIDIA/Microsofti veebisaidilt (draiver GPU arvutamiseks WSL-is). Pärast installimist taaskäivitage Windows vajadusel.

7) Kontrolli WSL-is kerneli versiooni ja veendu, et kõik töötab õigesti: `wsl cat /proc/version` . Kui sul on versioon 5.10.43.3 või uuem, siis suurepärane. Hoia Windows Update ajakohasena, et saada WSL2 täiustusi.

8) Paigalda Ubuntu (WSL) sees PyTorch CUDA toega. cu118 indeks on laialdaselt kasutatav ja stabiilne valik. See võimaldab sul oma märkmikes või skriptides GPU-d ära kasutada.

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

9) Kiire test Pythonis: käivita PyTorch ja kontrolli, kas CUDA on saadaval ja mitu GPU-d see tuvastab. See kinnitab, et pinu töötab.

python3
>>> import torch
>>> torch.cuda.device_count()
# Ejemplo de salida: 1 (o más, según tu equipo)
>>> torch.cuda.is_available()
# Esperado: True

10) Docker GPU-ga WSL-is: installige Docker Desktop Windowsi, aktiveerige see ja käivitage testid Ubuntu WSL-ist. NVIDIA Container Toolkit on Linuxi-laadsete stsenaariumide puhul WSL-is toetatud.

docker run --rm -it --gpus=all nvcr.io/nvidia/k8s/cuda-sample:nbody \
  nbody -gpu -benchmark -numdevices=1

Kui kuvatakse mitme GPU-ga tõrge „ainult 0 seadet saadaval”, on teadaolev lahendus iga GPU keelamine ja seejärel uuesti lubamine Windowsi seadmehalduris (Kuva adapterid > Toiming > Keela, seejärel Luba). Seejärel korrake testi.

Natiivne installimine Linuxile (Ubuntu/Mint ja derivaadid)

Natiivse Linuxi puhul on soovitatav toimimisviis järgmine: installige ametlik NVIDIA draiver , seejärel CUDA tööriistakomplekt ja lõpuks konfigureerige keskkonnamuutujad. Uuemates versioonides töötavad draiveri 560 haru ja CUDA 12.6 väga hästi.

1) Lisa graafikadraiver PPA (Ubuntu) ja installi draiver 560. Taaskäivita arvuti , et kernel laadiks uuendatud mooduli.

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
sudo apt install -y nvidia-driver-560
# Reinicia el equipo

2) Veendu nvidia-smi abil, et draiver töötab. Enne CUDA-ga jätkamist peaks see kuvama versiooni, graafikakaarti ja mälu .

nvidia-smi

3) Paigalda ehitussõltuvused ja lae alla CUDA 12.6 installer (näide koos runfile'iga). Kui sul on 560 juba installitud, eemalda viisardis konfliktide vältimiseks draiverite ruut .

sudo apt install -y build-essential
wget https://developer.download.nvidia.com/compute/cuda/12.6.3/local_installers/cuda_12.6.3_560.35.05_linux.run
sudo sh cuda_12.6.3_560.35.05_linux.run

4) Ekspordi PATH ja LD_LIBRARY_PATH installitud versiooni ja laadi profiil uuesti. See tagab, et nvcc ja teegid on seansis saadaval.

nano ~/.bashrc
# Añade al final (ajusta si tu ruta difiere)
export PATH=/usr/local/cuda-12.6/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-12.6/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
# Guarda y recarga
source ~/.bashrc

5) Kontrollige CUDA kompilaatori versiooni. Kui 'nvcc --version' vastab edukalt, on installatsioon tööks valmis. Ilma selle sammuta ebaõnnestuvad paljud versioonid.

nvcc --version

Lisamärkused teiste versioonide kohta: kui installite CUDA 11.8 käivitusfaili abil, on protsess sarnane ja tee on tavaliselt /usr/local/cuda-11.X. Igal juhul kontrollige draiveri ühilduvuse maatriksit, et veenduda CUDA versiooni ja draiveri õiges sobivuses.

Miniconda, PyTorch ja ökosüsteem

Keskkondade haldamine Minicondaga on uskumatult mugav: see isoleerib sõltuvused, lihtsustab ehitust ja võimaldab teil Pythoni versioonide vahel vahetada. Ideaalne tehisintellekti ja mitme projekti töövoogude jaoks.

Paigalda Miniconda Linuxile nende sammude abil, nõustu litsentsitingimustega ja taaskäivita terminal pärast lõpetamist. Pärast seda näed aktiivset baaskeskkonda.

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash ./Miniconda3-latest-Linux-x86_64.sh
# Enter > Avanzar > yes > enter > yes

Mõned graafikapaketid võivad Ubuntu/Mint süsteemides vajada python3-tk . Giti olemasolu on samuti kasulik.

sudo apt update -y && sudo apt install -y python3-tk git

Kui keskkond on valmis, installi PyTorch stabiilse CUDA-ga (cu118) või isegi igal õhtul, kui otsid uusimat jõudlust (nt cu124). Vali vastavalt oma vajadustele : stabiilsus versus uued funktsioonid.

# Estable (ejemplo cu118)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# Nightly (ejemplo cu124)
pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu124

Kui töötate loominguliste torujuhtmetega nagu ComfyUI, saate selle repositooriumi kloonida ja rakenduse käivitada. Sellele juurdepääsuks teisest võrgus olevast masinast kasutage lippu `--listen 0.0.0.0`. See on väga kasulik peakomplektita serverites.

git clone https://github.com/comfyanonymous/ComfyUI
cd ComfyUI
pip install -r requirements.txt
python main.py --listen 0.0.0.0

Testimine ja valideerimine (PyTorch ja Docker)

Installi valideerimine säästab teid hilisematest üllatustest. Pythonis kontrollib see, kas PyTorch näeb GPU-d, saab mälu eraldada ja kas tuumad käivituvad vigadeta. Kaks peamist käsku on `is_available` ja `device_count`.

python3
>>> import torch
>>> torch.cuda.is_available()
True
>>> torch.cuda.device_count()
1

Dockeri abil proovi NVIDIA näidiskonteinerit 'nbody'. Kui see töötab valikuga `--gpus=all`, on konteineri käituskeskkond õigesti konfigureeritud ja GPU konteinerites nähtav.

docker run --rm -it --gpus=all nvcr.io/nvidia/k8s/cuda-sample:nbody \
  nbody -gpu -benchmark -numdevices=1

Kui Windows+WSL-is ilmneb viga „0 seadet”, pidage meeles seadmehalduris graafikakaartide keelamise/lubamise nippi. See on teadaolev probleem , mis mõnikord esineb mitme graafikakaardiga süsteemides.

Lõpuks ära unusta CUDA kompilaatorit valideerida käsuga `nvcc -V` ja draiveri installi kontrollida käsuga `nvidia-smi`. Mõlemad käsud peaksid töötama ilma vigadeta.

Kasulikud muudatused Linuxis: vahetus- ja serverirežiim

Raskete treeningute ajal ebapiisava mälu tõttu tekkivate krahhide vältimiseks võib swap-faili suuruse suurendamine olla elupäästev. 32 GB suurus pakub suuremate mudelite puhul tavaliselt piisavalt mänguruumi.

sudo swapon --show
sudo swapoff -a
sudo dd if=/dev/zero of=/swapfile bs=1M count=32768 status=progress
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile
sudo swapon --show
sudo nano /etc/fstab
# Añade si no existe:
/swapfile none swap sw 0 0

Kui kasutate Linux Minti (ja sarnaseid distributsioone), saate ressursside, sealhulgas videomälu, säästmiseks käivitada süsteemi mitme kasutaja režiimis ilma graafilise keskkonnata. Ideaalne serverite või treeningsõlmede jaoks.

sudo nano /etc/default/grub
# Cambia "quiet splash" por "text"
sudo update-grub
sudo systemctl set-default multi-user.target
# Reinicia; para volver al escritorio en sesión:
startx

Levinud probleemid ja kuidas neid parandada

Valesti joondatud draiverid ja tööriistakomplekt: kui installite draiveri, mis ei ühildu teie CUDA versiooniga, ilmnevad kernelide kompileerimisel või käivitamisel vead. Vaadake NVIDIA ühilduvustabelit ja joondage oma versioonid.

Sõltuvuskonfliktid Linuxis: eemaldage eelmistest installidest järelejäänud paketid ja kasutage apt või yum käsku täpsete versioonide lahendamiseks , kui installija seda küsib. Ametliku juhendi täpne järgimine on väga abiks.

WSL ilma sobiva kernelita: kontrollige wsl --update ja kontrollige versiooni käsuga 'wsl cat /proc/version'. Alamsüsteemi värskenduste saamiseks peab Windows Update olema ajakohane.

Docker ilma GPU-ta: Veenduge, et teil oleks installitud NVIDIA Container Toolkit ja et Docker Desktop töötaks Windowsis. Proovige kasutada nbody konteinerit ja kontrollige kasutajaõigusi, kui midagi läheb valesti.

TEE ja teegid: Kui nvcc või CUDA teeke ei leita, kontrollige muutujaid PATH ja LD_LIBRARY_PATH . Pärast redigeerimist naaske faili 'source ~/.bashrc' ja vajadusel taaskäivitage seanss.

Pilvealternatiiv: kasutusvalmis GPU-instansid

Kui te ei saa või ei soovi seda lokaalselt seadistada, võtab GPU-ga pilveeksemplar töö teie käest. A100, RTX 4090 või A6000 teenused pakuvad toorest võimsust ja tehisintellektiga ühilduvaid malle.

Platvormidel, mis pakuvad eelkonfigureeritud pod'e, saate oma keskkonna minutitega käivitada, kulusid vähendada tänu tasumisele vastavalt kasutamisele ja valida PyTorchi jaoks optimeeritud pildid. Meeskondadele, kes mudeleid vahetavad ja peavad neid skaleerima, on see väga tõhus lähenemisviis.

Kõige eelnevaga on teil nüüd olemas täielik tegevuskava: nõuded, installimine Windowsi koos WSL-iga ja natiivsesse Linuxisse, võtmevalideerimised PyTorchi ja Dockeriga ning lisaks tootlikkuse lisad Miniconda, swap-i ja serverirežiimi abil. Eesmärk on viia teid nullist koolituseni sujuvalt, kasutades kindlat ja hõlpsasti hooldatavat tarkvarapinu.