Intrarea în lumea inteligenței artificiale locale poate părea o întreprindere foarte complexă la început, dar realitatea este că ne aflăm într-o epocă de aur. Nu mai ai nevoie de un centru de date la subsol pentru a face asta. inferență de modelAstăzi, cu o echipă bine configurată, poți avea propriul asistent privat care nu depinde de cloud sau de abonamentele lunare.
Când vorbim despre rularea modelelor la nivel local, ne referim practic la faza de deducereAcesta este momentul în care un model antrenat anterior procesează date noi pentru a oferi un răspuns. Spre deosebire de antrenament, care este o sarcină monumentală ce necesită mii de GPU-uri, inferența este mult mai ușor de gestionat, iar aici cipurile Apple au un impact puternic datorită... management eficient al energiei și arhitectura sa inovatoare.
Secretul succesului: Memoria unificată
Dacă există un lucru care face ca Mac-urile să iasă în evidență, acesta este... Arhitectură de memorie unificată (UMA)Într-un PC tradițional, trebuie să mutați datele din memoria RAM a sistemului în memoria VRAM a plăcii grafice, iar acolo se pierde timp prețios. În M4, M3 Ultra sau cipuri similare, procesorul și placa video se bazează pe același pool de memorie, ceea ce... reduce latența drastic la manipularea întinzătoarelor.
Acest lucru este vital atunci când dorim să încărcăm LLM-uri (Large Language Models - Modele de Limbaj Mari) medii sau mari. De exemplu, un Mac Studio cu o cantitate generoasă de RAM poate gestiona modele care ar necesita mult mai mult pe un PC. mai multe plăci video NVIDIA A6000Aceasta reprezintă o economie uriașă de costuri și, mai ales, la factura de energie electrică, deoarece consumul este o fracțiune din ceea ce ar folosi un turn de gaming.
Cuantizare și formate: Cum se face ca modelul să se potrivească
Pentru a preveni ca un model cu 70 de trilioane de parametri să vă provoace blocarea mașinii, recurgem la cuantizarea. Básicamente, consiste en reducir la precisión de los números (pasar de FP32 a INT8 o incluso 4 bits), lo que encoge el modelo y acelera la respuesta sin que el modelo se vuelva «tonto» o pierda coherencia.
- GGUF: Este formatul preferat pentru cei care utilizează un procesor sau o combinație de procesor și GPU. Este un singur fișier care conține tot ce este necesar și este standardul pentru apel.cpp.
- GPTQ: Conceput special pentru a rula pe GPU-uri, optimizând viteza de procesare.
- Tensori de siguranță: O opțiune mult mai sigură decât fișierele .bin tradiționale, deoarece previne executarea de cod malițios la încărcarea modelului.
Instrumente esențiale pentru configurarea mediului dvs.
Dacă nu vrei să te chinui cu terminalul din primul minut, există opțiuni foarte simple. LM Studio es probablemente la herramienta más amigable: es un «todo en uno» con interfaz gráfica que te permite rulează modele de inteligență artificială local și lansați-le cu un clic. Puteți chiar configura un server API local Compatibil cu OpenAI pentru a integra inteligența artificială în propriile aplicații.
Pe de altă parte avem Ollamacare este bijuteria coroanei pentru cei care preferă ceva mai ușor sau bazat pe comenzi. Este open source și se integrează perfect cu Deschideți WebUIpermițându-vă să aveți o interfață identică cu ChatGPT, dar care rulează în întregime pe hardware-ul dvs. printr-un Ghid rapid pentru derularea de programe de masterat în masterat (LLM) locale cu OllamaPentru cei care caută performanță maximă pe macOS, framework-ul Apple MLX Este opțiunea optimizată pentru a profita la maximum de siliciul mărcii.
Dilema hardware-ului: portabilitate sau putere brută?
Mulți cercetători și dezvoltatori sunt împărțiți între două căi. Prima opțiune este să mizeze total pe... MacBook Pro M4 Max cu multă memorie (cum ar fi 128 GB). Avantajul este că iterație rapidăPoți fi într-o cafenea sau într-un avion și poți testa o rețea RAG (Recovery Augmented Generation) fără a te baza pe o conexiune la distanță.
Alternativa este o combinație de MacStudio și un laptop ușor. Studio este o bestie termică; îl poți lăsa să ruleze inferențe lungi timp de ore întregi fără ca ventilatorul să sune ca un motor cu reacție care decolează. Totuși, acest lucru introduce frecarea accesului de la distanțăNevoia de a sincroniza mediile și datele între două mașini diferite poate perturba fluxul creativ.
Cazuri de utilizare și limitări din lumea reală
Cu un Mac Mini M4 sau un MacBook Pro bine echipat, poți construi sisteme de RAG cu baze de date vectoriale cum ar fi ChromaDB sau Qdrant, creați asistenți de cod locali cu Aider sau Transcrie automat videoclipuri folosind inteligența artificială locală pentru extragerea entităților. Este ideal pentru prototiparea și evaluarea comportamentului modelelor cuantizate cu parametri între 7B și 70B.
Totuși, nu ar trebui să încercăm să facem miracole. Antrenamentul intensiv cu modele sau complex de reglare fină Aceste echipe nu sunt puncte forte. Dacă fluxul tău de lucru depinde în întregime de Ecosisteme CUDA Cu NVIDIA, vei întâmpina unele obstacole pe parcurs, deoarece Metal (API-ul Apple) nu este un înlocuitor transparent, deși, pentru deducție, decalajul s-a redus considerabil.
Scriitor pasionat despre lumea octeților și a tehnologiei în general. Îmi place să îmi împărtășesc cunoștințele prin scriere și asta voi face în acest blog, să vă arăt toate cele mai interesante lucruri despre gadgeturi, software, hardware, tendințe tehnologice și multe altele. Scopul meu este să vă ajut să navigați în lumea digitală într-un mod simplu și distractiv.