At træde ind i den lokale kunstige intelligens-verden kan umiddelbart virke som en skræmmende opgave, men virkeligheden er, at vi lever i en guldalder. Du behøver ikke længere et datacenter i kælderen for at udføre modelinferens ; i dag kan du med et velkonfigureret team have din egen private assistent, der ikke er afhængig af skyen eller månedlige abonnementer.
Når vi taler om at køre modeller lokalt, refererer vi dybest set til inferensfasen , hvor en trænet model behandler nye data for at give os et svar. I modsætning til træning, som er en monumental opgave, der kræver tusindvis af GPU'er, er inferens meget mere håndterbar, og det er her, Apple-chips har en stærk indflydelse takket være deres effektive strømstyring og innovative arkitektur.
Hemmeligheden bag succes: En samlet hukommelse
Hvis der er én ting, der adskiller Mac-computere, er det Unified Memory Architecture (UMA) . På en traditionel pc skal du flytte data fra system-RAM til grafikkortets VRAM, og det er her, værdifuld tid går tabt. Med M4, M3 Ultra og lignende chips trækker CPU'en og GPU'en på den samme hukommelsespulje, hvilket drastisk reducerer latenstiden ved håndtering af tensorer.
Dette er afgørende, når vi vil indlæse mellemstore eller store LLM'er (Large Language Models). For eksempel kan et Mac Studio med en generøs mængde RAM rumme modeller, der i PC-verdenen ville kræve adskillige NVIDIA A6000-kort , hvilket resulterer i enorme besparelser på omkostninger og frem for alt på elregningen, da forbruget er en brøkdel af, hvad et gaming-tower ville bruge.
Kvantisering og formater: Sådan får du modellen til at passe
For at forhindre en model med 70 billioner parametre i at få din maskine til at gå ned, bruger vi kvantisering . Dette indebærer i bund og grund at reducere tallenes præcision (gå fra FP32 til INT8 eller endda 4 bit), hvilket krymper modellen og fremskynder responsen uden at gøre den "dum" eller få den til at miste kohærens.
- GGUF: Det er det foretrukne format for dem, der bruger en CPU eller en kombination af CPU og GPU. Det er en enkelt fil, der indeholder alt nødvendigt, og er standarden for call.cpp.
- GPTQ: Designet specifikt til at køre på GPU'er, hvilket optimerer processorhastigheden.
- Sikkerhedstensorer: En meget sikrere løsning end traditionelle .bin-filer, da den forhindrer udførelse af skadelig kode, når modellen indlæses.
Vigtige værktøjer til at konfigurere dit miljø
Hvis du ikke vil have problemer med terminalen fra starten, er der nogle meget enkle muligheder. LM Studio er nok det mest brugervenlige værktøj: det er en alt-i-én-løsning med en grafisk brugerflade, der giver dig mulighed for at køre AI-modeller lokalt og starte dem med et enkelt klik. Du kan endda oprette en lokal OpenAI-kompatibel API-server for at integrere AI i dine egne apps.
På den anden side har vi Ollama , kronjuvelen for dem, der foretrækker noget lettere eller kommandolinjebaseret. Det er open source og integreres problemfrit med Open WebUI , hvilket giver dig en brugerflade, der er identisk med ChatGPT, men kører udelukkende på din hardware. En hurtig guide til at køre lokale LLM'er med Ollama er også tilgængelig. For dem, der søger maksimal ydeevne på macOS, er Apples MLX- framework den optimerede mulighed for at få mest muligt ud af virksomhedens silicium.
Hardware-dilemma: Bærbarhed eller rå kraft?
Mange forskere og udviklere er splittet mellem to veje. Den første mulighed er at gå all-in med en MacBook Pro M4 Max med masser af hukommelse (f.eks. 128 GB). Fordelen er hurtig iteration : du kan være på en café eller på et fly og teste en RAG (Recovery Augmented Generation) pipeline uden at være afhængig af en fjernforbindelse.
Alternativet er en kombination af Mac Studio og en letvægtsbærbar. Studio er et termisk bæst; du kan lade den køre lange forstyrrelser i timevis uden at blæseren lyder som en jetmotor, der letter. Dette introducerer dog friktionen ved fjernadgang , der kræver, at du synkroniserer miljøer og data mellem to forskellige maskiner, hvilket kan forstyrre din kreative strøm.
Brugsscenarier og begrænsninger i den virkelige verden
Med en Mac Mini M4 eller en veludstyret MacBook Pro kan du opsætte RAG-systemer med vektordatabaser som ChromaDB eller Qdrant, oprette lokale kodeassistenter med Aider eller automatisk transskribere videoer ved hjælp af lokal AI til at udtrække funktioner. Det er ideelt til prototyping og evaluering af kvantiserede modellers adfærd med mellem 7 milliarder og 70 milliarder parametre.
Forvent dog ikke mirakler. Intensiv modeltræning eller kompleks finjustering er ikke disse maskiners stærke sider. Hvis din arbejdsgang er stærkt afhængig af NVIDIA CUDA-økosystemer , vil du støde på nogle forhindringer, da Metal (Apples API) ikke er en problemfri erstatning, selvom forskellen er blevet betydeligt mindre for inferens.
Passioneret forfatter om bytes-verdenen og teknologien generelt. Jeg elsker at dele min viden gennem skrivning, og det er det, jeg vil gøre i denne blog, vise dig alle de mest interessante ting om gadgets, software, hardware, teknologiske trends og mere. Mit mål er at hjælpe dig med at navigere i den digitale verden på en enkel og underholdende måde.