Ficar-se al món de la intel·ligència artificial local pot semblar un jardí molt complex al principi, però la realitat és que estem en un moment dolç. Ja no cal tenir un centre de dades al soterrani per fer inferència de models ; avui dia, amb un equip ben configurat, pots tenir el teu propi assistent privat que no depengui del núvol ni de subscripcions mensuals.
Quan parlem de córrer models en local, ens referim bàsicament a la fase d' inferència , que és quan un model ja entrenat processa dades noves per donar-nos resposta. A diferència de l'entrenament, que és una tasca titànica que requereix milers de GPUs, la inferència és molt més manejable i és on els xips d'Apple estan enganxant fort gràcies a la gestió eficient de l'energia i l'arquitectura innovadora.
El secret de l'èxit: La Memòria Unificada
Si hi ha alguna cosa que marca la diferència en els Mac és la Unified Memory Architecture (UMA) . En un PC tradicional, has de moure les dades de la RAM del sistema a la VRAM de la targeta gràfica, i aquí és on es perd un temps preciós. En els xips M4, M3 Ultra o similars, la CPU i la GPU beuen del mateix pou de memòria, cosa que redueix la latència dràsticament en manejar tensors.
Això és vital quan volem carregar LLMs (Large Language Models) de mida mitjana o gran. Per exemple, un Mac Studio amb una quantitat generosa de RAM pot albergar models que al món PC requeririen diverses targetes NVIDIA A6000 , la qual cosa suposa un estalvi brutal en costos i, sobretot, a la factura de la llum, ja que el consum és una fracció del que gastaria una torre gaming.
Quantització i formats: Com fer que càpiga el model
Perquè un model de 70 bilions de paràmetres no rebenti la teva màquina, recorrem a la quantització . Bàsicament, consisteix a reduir la precisió dels números (passar de FP32 a INT8 o fins i tot 4 bits), cosa que encongeix el model i accelera la resposta sense que el model es torni «ximple» o perdi coherència.
- GGUF: És el format estrella per als que usen la CPU o una barreja de CPU i GPU. És un fitxer únic que conté tot el necessari i és l'estàndard per truca.cpp.
- GPTQ: Dissenyat específicament per volar a GPUs, optimitzant la velocitat de processament.
- Safetensors: Una opció molt més segura que els fitxers .bin tradicionals, ja que evita l'execució de codi maliciós en carregar el model.
Eines imprescindibles per muntar el teu entorn
Si no vols barallar-te amb la terminal des del minut u, hi ha opcions molt mastegades. LM Studio és probablement l'eina més amigable: és un «tot en un» amb interfície gràfica que us permet executar models d'IA en local i llançar-los amb un clic. Fins i tot pots muntar un servidor API local compatible amb OpenAI per integrar la IA a les teves pròpies apps.
D'altra banda, tenim Ollama , que és la joia de la corona per als que prefereixen una mica més lleuger o basat en ordres. És open source i s'integra de luxe amb Open WebUI , permetent tenir una interfície idèntica a ChatGPT però corrent enterament al teu maquinari mitjançant una guia ràpida per executar LLMs locals amb Ollama . Per als que busquen el màxim rendiment a macOS, el framework MLX d'Apple és l'opció optimitzada per treure tot el suc al silici de la marca.
Dilema de Maquinari: Portabilitat o Potència Bruta?
Molts investigadors i desenvolupadors es debaten entre dos camins. La primera opció és anar a mort amb un MacBook Pro M4 Max amb molta memòria (com a 128GB). L'avantatge és la iteració ràpida : pots estar en una cafeteria o en un avió provant un pipeline de RAG (Generació Augmentada per Recuperació) sense dependre d'una connexió remota.
Lalternativa és el combo dun Mac Studio i un portàtil lleuger. El Studio és una bèstia tèrmica; pots deixar-ho fent inferències llargues durant hores sense que el ventilador sembli un avió enlairant-se. Això no obstant, això introdueix la fricció de l'accés remot , havent de sincronitzar entorns i dades entre dues màquines diferents, cosa que pot trencar el flux creatiu.
Casos d'ús reals i limitacions
Amb un Mac Mini M4 o un MacBook Pro ben equipat, pots muntar sistemes de RAG amb bases de dades vectorials com ChromaDB o Qdrant, crear assistents de codi locals amb Aider o transcriure automàticament vídeos usant IA local per extreure entitats. És ideal per prototipar i avaluar comportaments de models quantitzats entre 7B i 70B paràmetres.
Això sí, no cal intentar fer màgia. L'entrenament intensiu de models o el fine-tuning complex no són el fort d'aquests equips. Si el teu flux de treball depèn estrictament d' ecosistemes CUDA de NVIDIA, et trobaràs amb algunes pedres al camí, ja que Metall (l'API d'Apple) no és un substitut transparent, encara que per inferència la bretxa s'ha tancat moltíssim.
Redactor apassionat del món dels bytes i la tecnologia en general. M'encanta compartir els meus coneixements a través de l'escriptura, i això és el que faré en aquest bloc, mostrar tot el més interessant sobre gadgets, programari, maquinari, tendències tecnològiques, i més. El meu objectiu és ajudar-te a navegar pel món digital de forma senzilla i entretinguda.