Guia Completa per Optimitzar el Rendiment d'Ollama i el teu GPU

Si t'has llançat a l'aventura de muntar la teva pròpia intel·ligència artificial a casa amb Ollama, hauràs notat que no n'hi ha prou de donar-lo a instal·lar i ja està. De vegades, el model arrenca però escriu paraula per paraula, o pitjor encara, et llança el temut error de memòria insuficient que tanca tot el procés. Aconseguir que el programari es porti bé amb el maquinari és gairebé un art, especialment quan tens diverses GPUs o una configuració mixta entre processador i gràfica.

Perquè l'experiència sigui fluida i no tornis boig mirant l'administrador de tasques, és fonamental ajustar els paràmetres interns i cuidar la salut del teu equip. No es tracta només de tenir la targeta més cara del mercat, sinó de saber configurar la quantització, el processament per lots i el flux d'aire perquè el silici no es fongui mentre processis milers de tokens. Veurem com esprémer cada gota de potència del teu equip.

Gestió de la GPU i resolució de conflictes de maquinari

Un problema molt comú és que Ollama no detecti la targeta gràfica dedicada o intenteu utilitzar la integrada de la placa base. Si notes que tu GPU principal no es mou mentre que la CPU està al 100%, potser necessiteu forçar l'assignació. Encara que Windows 11 permet triar el processador gràfic a la configuració de pantalla, de vegades és necessari reinstal·lar el programari o ajustar el tauler de control de Nvidia per prioritzar l'alt rendiment.

Per saber exactament què està passant, l'ideal és fer servir eines com nvidia-smi a la consola, que et dirà quanta VRAM està ocupada i quin procés està usant la targeta. Si teniu un sistema complex amb Docker, assegureu-vos d'instal·lar el Nvidia Container Toolkit i configurar el runtime perquè el contenidor tingui accés real als nuclis CUDA.

La clau de la Quantització: Menys bits, més velocitat

Quan parlem de models locals, el format GGUF és el rei gràcies a la capacitat de càrrega sota demanda. La quantització consisteix bàsicament en comprimir els pesos del model; passar de FP16 a 4 bits redueix dràsticament lespai necessari a la VRAM. Si un model de 7B en precisió completa demana 14 GB, una versió quantitzada a Q4_K_M pot baixar a uns 4,7 GB, permetent que càpiga enterament en targetes gràfiques més modestes.

Per triar la versió adequada, has de mirar el VRAM disponible. Si tens 8 GB, no et compliquis i vés directe a Q4_K_M, que és lequilibri perfecte entre qualitat i velocitat. Si tens una bèstia de 24 GB, et pots permetre pujar a Q8_0 o FP16 per obtenir una precisió màxima en tasques de recerca. Recorda que pots descarregar versions específiques usant etiquetes com truca3:70b-q5 per forçar una quantització concreta.

Ajustaments avançats d'inferència: Batch i Context

El processament per lots o num_batch és el que realment dispara la quantitat de tokens per segon (throughput). Per defecte sol estar en 512, però si tens memòria de sobres, pujar-ho a 1024 o 2048 pot duplicar la velocitat de resposta en peticions concurrents, encara que consumirà una mica més de VRAM. És com passar d'atendre un client alhora en un súper a processar diversos carrets en paral·lel.

D'altra banda, el num_ctx defineix la finestra de context. Com més gran sigui, més recordarà el model de la conversa, però el Memòria cau KV començarà a devorar la memòria. Per a un ús diari, 4096 o 8092 tokens són més que suficients. Si noteu que el sistema falla amb contextos llargs, activeu la variable d'entorn OLLAMA_FLASH_ATTENTION=1, que redueix la càrrega de memòria del caixet entre un 30% i el 50%.

Estratègies contra l'error de Memòria Insuficient (OOM)

Quan et trobes amb un CUDA out of memory, tens diverses rutes d'escapament. La més senzilla és abaixar la quantització del model. Si amb això no n'hi ha prou, pots recórrer al CPU offload ajustant el paràmetre num_gpu. Això permet enviar, per exemple, 20 capes a la GPU i deixar la resta a la RAM del sistema. Serà més lent, però com a mínim el model funcionarà en lloc de tancar-se.

També és vital gestionar el OLLAMA_GPU_OVERHEAD per reservar un marge de memòria per al sistema operatiu i evitar que el model saturi la targeta del tot. Si utilitzes Docker Compose, defineix sempre les capabilities de GPU i el driver de nvidia perquè l'orquestració de recursos sigui eficient i no hi hagi colls d'ampolla en la comunicació entre el programari i el xip.

Optimització física i manteniment del maquinari

No tot és programari; el estrangulament tèrmic és l'enemic silenciós del rendiment. Una GPU que arriba als 90 graus baixarà la seva freqüència automàticament per no cremar-se, cosa que es tradueix en una caiguda brutal de tokens per segon. Mantenir l'equip net, fer servir un raspall fi i aire comprimit cada sis mesos i assegurar un flux daire constant és fonamental per mantenir les freqüències de rellotge estables.

Per als més atrevits, realitzar un overclock suau amb eines com MSI Afterburner pot donar una petita empenta extra, però només si les temperatures estan controlades. Igualment, mantenir els controladors actualitzats és obligatori, ja que Nvidia i AMD llancen pegats que optimitzen la gestió de memòria i la compatibilitat amb noves llibreries de IA, podent guanyar fins a un 15% de potència només amb actualitzar.

Configuracions elèctriques i de sistema

Si utilitzes un portàtil, assegura't que el mode de control d'energia estigui configurat a Màxim Rendiment Preferit. El mode de consum òptim sol limitar el voltatge de la GPU, impedint que el model d'IA faci servir tota la potència de càlcul disponible. Així mateix, tancar aplicacions pesades com Chrome o Discord allibera memòria RAM crítica que Ollama pot utilitzar quan el model no cap sencer a la VRAM.

En entorns Linux, com ara Rocky Linux 9, és recomanable deshabilitar SELinux per evitar conflictes de permisos amb els contenidors de Docker i assegurar que el toolkit de Nvidia tingui accés total al maquinari. Combinar un sistema operatiu optimitzat amb una corba de ventilació agressiva garanteix que la targeta treballi al màxim sense risc de degradació prematura del silici.

La clau per a un rendiment òptim rau a trobar el punt dolç entre la quantització del model, la gestió intel·ligent del context mitjançant Flash Attention i un manteniment físic rigorós que eviti el sobreescalfament. Ajustant els paràmetres de batch i les capes d'offload segons la VRAM disponible, qualsevol usuari pot transformar una màquina modesta en una estació d'IA local sorprenentment ràpida i estable.