De wereld van lokale kunstmatige intelligentie betreden lijkt misschien in eerste instantie een ontmoedigende taak, maar in werkelijkheid bevinden we ons in een gouden tijdperk. Je hebt geen datacenter in de kelder meer nodig om modelinferentie uit te voeren ; tegenwoordig kun je met een goed samengesteld team je eigen privé-assistent hebben die niet afhankelijk is van de cloud of maandelijkse abonnementen.
Wanneer we het hebben over het lokaal uitvoeren van modellen, verwijzen we in principe naar de inferentiefase . Dit is het moment waarop een getraind model nieuwe data verwerkt om ons een antwoord te geven. In tegenstelling tot training, een gigantische taak die duizenden GPU's vereist, is inferentie veel beter te beheren. En dat is waar Apple-chips een grote impact hebben dankzij hun efficiënte energiebeheer en innovatieve architectuur.
Het geheim van succes: Unified Memory.
Als er één ding is dat Macs onderscheidt, dan is het de Unified Memory Architecture (UMA) . Op een traditionele pc moet je data van het systeem-RAM naar het VRAM van de grafische kaart verplaatsen, en dat is waar kostbare tijd verloren gaat. Met M4-, M3 Ultra- en vergelijkbare chips gebruiken de CPU en GPU dezelfde geheugenpool, waardoor de latentie bij het verwerken van tensors drastisch wordt verminderd.
Dit is essentieel wanneer we middelgrote of grote LLM's (Large Language Models) willen laden. Een Mac Studio met een ruime hoeveelheid RAM kan bijvoorbeeld modellen verwerken die in de pc-wereld meerdere NVIDIA A6000-videokaarten zouden vereisen . Dit leidt tot enorme kostenbesparingen en, belangrijker nog, een besparing op de energierekening, aangezien het verbruik een fractie is van wat een gaming-pc zou verbruiken.
Kwantisering en formaten: Hoe het model passend te maken
Om te voorkomen dat een model met 70 biljoen parameters uw computer laat vastlopen, gebruiken we kwantisatie . Dit houdt in dat de precisie van de getallen wordt verlaagd (van FP32 naar INT8 of zelfs 4 bits), waardoor het model kleiner wordt en de reactiesnelheid toeneemt zonder dat het "dom" wordt of zijn samenhang verliest.
- GGUF: Het is het voorkeursformaat voor gebruikers met een CPU of een combinatie van CPU en GPU. Het is één bestand dat alles bevat wat nodig is en is de standaard voor lama.cpp.
- GPTQ: Speciaal ontworpen om op GPU's te draaien en de verwerkingssnelheid te optimaliseren.
- Veiligheidsvoorzieningen: Een veel veiligere optie dan traditionele .bin-bestanden, omdat het de uitvoering van kwaadaardige code bij het laden van het model voorkomt.
Essentiële hulpmiddelen voor het inrichten van uw omgeving
Als je niet meteen met de terminal aan de slag wilt, zijn er een aantal zeer eenvoudige opties. LM Studio is waarschijnlijk de meest gebruiksvriendelijke tool: het is een alles-in-één oplossing met een grafische interface waarmee je AI-modellen lokaal kunt uitvoeren en met één klik kunt starten. Je kunt zelfs een lokale OpenAI-compatibele API-server instellen om AI in je eigen apps te integreren.
Aan de andere kant hebben we Ollama , het kroonjuweel voor wie de voorkeur geeft aan iets lichters of commandoregelgebaseerd. Het is open source en integreert naadloos met Open WebUI , waardoor je een interface hebt die identiek is aan ChatGPT, maar volledig op je eigen hardware draait. Er is ook een korte handleiding beschikbaar voor het uitvoeren van lokale LLM's met Ollama . Voor wie maximale prestaties op macOS zoekt, is Apple's MLX- framework de geoptimaliseerde optie om het maximale uit de chips van het bedrijf te halen.
Hardwaredilemma: Draagbaarheid of pure rekenkracht?
Veel onderzoekers en ontwikkelaars staan voor een dilemma: ze kiezen vaak twee opties. De eerste is om vol in te zetten op een MacBook Pro M4 Max met veel geheugen (zoals 128 GB). Het voordeel hiervan is snelle iteratie : je kunt in een café of in een vliegtuig een RAG-pipeline (Recovery Augmented Generation) testen zonder afhankelijk te zijn van een externe verbinding.
Een alternatief is een Mac Studio in combinatie met een lichte laptop. De Studio is een echte koelmachine; je kunt hem urenlang laten draaien zonder dat de ventilator klinkt als een opstijgende straalmotor. Dit brengt echter wel het probleem met zich mee van toegang op afstand , waarbij je omgevingen en gegevens tussen twee verschillende machines moet synchroniseren, wat je creatieve proces kan verstoren.
Praktische toepassingsvoorbeelden en beperkingen
Met een Mac Mini M4 of een goed uitgeruste MacBook Pro kun je RAG-systemen opzetten met vectordatabases zoals ChromaDB of Qdrant, lokale code-assistenten maken met Aider, of video's automatisch transcriberen met behulp van lokale AI om kenmerken te extraheren. Het is ideaal voor het prototypen en evalueren van het gedrag van gekwantiseerde modellen met tussen de 7 en 70 miljard parameters.
Verwacht echter geen wonderen. Intensieve modeltraining of complexe finetuning behoren niet tot de sterke punten van deze machines. Als uw workflow sterk afhankelijk is van het NVIDIA CUDA-ecosysteem , zult u enkele obstakels tegenkomen, aangezien Metal (de API van Apple) geen naadloze vervanging is, hoewel het verschil voor inferentie aanzienlijk kleiner is geworden.
Gepassioneerd schrijver over de wereld van bytes en technologie in het algemeen. Ik deel mijn kennis graag door te schrijven, en dat is wat ik in deze blog ga doen: je de meest interessante dingen laten zien over gadgets, software, hardware, technologische trends en meer. Mijn doel is om u te helpen op een eenvoudige en onderhoudende manier door de digitale wereld te navigeren.