Complete handleiding voor het integreren van CrewAI met Ollama Local-modellen en OpenAI API's

Heb je ooit het gevoel gehad dat, hoe krachtig je taalmodel ook is, de reacties slechts oppervlakkig zijn of volledig onbetrouwbaar worden wanneer de taak complexer wordt? Het typische probleem is dat je probeert één AI tegelijkertijd als onderzoeker, schrijver en corrector te laten fungeren, wat uiteindelijk de context vertroebelt en middelmatige resultaten oplevert. De sleutel tot een doorbraak ligt niet in het vinden van een groter model, maar in het implementeren van een multi-agentsysteem waarin elke entiteit een zeer gespecialiseerde rol heeft.

Om dit te bereiken zonder dat uw gegevens uw netwerk verlaten en zonder dat u hoge API-kosten hoeft te betalen, is de combinatie van CrewAI en Ollama de ultieme oplossing. In deze handleiding leggen we uit hoe u uw eigen team van autonome agenten kunt opzetten die volledig lokaal draaien en de hardware van uw computer gebruiken om workflows te creëren die onderzoek doen, analyses uitvoeren en professionele rapporten schrijven zonder constante menselijke tussenkomst.

Het paradigma van multi-agentsystemen versus systemen met één agent.

Wanneer we één agent vragen om vijftien verschillende tools en een eindeloze reeks prompts te beheren, maken we de fout iemand aan te nemen die zowel CEO als stagiair is. Zoals de architectuur van agentgestuurd ontwerp suggereert, leidt samenwerking tussen specialisten tot exponentiële kwaliteitsverbeteringen. Waar een enkele agent verdwaalt in de complexiteit, stelt CrewAI je in staat om rollen, doelstellingen en gedeelde kennis te definiëren en deze te organiseren in een "team" dat taken sequentieel of hiërarchisch uitvoert.

De voorbereiding van de grond: vereisten en hulpmiddelen

Om ervoor te zorgen dat alles soepel verloopt zonder dat uw pc oververhit raakt, hebt u idealiter Python 3.10 of hoger en een machine met minimaal 16 GB RAM nodig. Als u een GPU met 8 GB VRAM hebt, zal de reactietijd aanzienlijk sneller zijn, aangezien lokale inferentie behoorlijk veel resources vereist. En natuurlijk moet u Ollama installeren, de engine die de toegang tot LLM's democratiseert, waardoor u modellen zoals Llama 3, Mistral of Qwen kunt uitvoeren zonder afhankelijk te zijn van de cloud.

Installatie en configuratie van CrewAI

Het CrewAI-framework is lichtgewicht en ontworpen voor productieomgevingen. Om te beginnen, hoeft u alleen maar het volgende commando uit te voeren: pip install crewai En, een echte aanrader, de toolkit met pip install 'crewai[tools]'Als je nog een stap verder wilt gaan, kun je de CLI gebruiken om de structuur van een professioneel project te genereren. crewai create crew nombre_proyectoDit zorgt ervoor dat er automatisch mappen worden aangemaakt voor agent- en taakconfiguraties in YAML-bestanden, waardoor uw code overzichtelijk en georganiseerd blijft.

Lokale inlichtingen verbinden met Ollamama

Hoewel CrewAI standaard is geconfigureerd voor OpenAI, is het omleiden van verkeer naar uw machine eenvoudig. Zorg er eerst voor dat Ollama actief is met ollama serve en dat u het gewenste model hebt gedownload (bijvoorbeeld, qwen3.5:latestIn de Python-code gebruiken we in plaats van de standaard OpenAI-klassen de klasse. CrewAI LLM configureren van de base_url als http://localhost:11434.

Een truc om authenticatiefouten te voorkomen, is het definiëren van omgevingsvariabelen waarin de OPENAI_API_KEY een fictieve waarde zijn (zoals "niet nodig") en de OPENAI_API_BASE Verwijs naar je lokale server. Op deze manier denkt het systeem dat het communiceert met een externe API, terwijl het in werkelijkheid... Alles gebeurt op je eigen hardware.Volledige privacy is gegarandeerd en het is kosteloos.

Het team ontwerpen: agenten, taken en processen

Stel je voor dat we een technisch rapport willen opstellen. Hiervoor definiëren we drie verschillende rollen: een senior onderzoeker, een technisch schrijver en een zorgvuldige redacteur. Ieder van hen heeft een gedetailleerde achtergrond die als leidraad dient voor hun persoonlijkheid en gedrag. We wijzen webzoektools (zoals SerperDevTool) toe aan de onderzoeker, terwijl de schrijver verantwoordelijk is voor het structureren van de informatie in Markdown en de redacteur voor het perfectioneren van de uiteindelijke stijl.

Taken moeten nauwkeurig worden omschreven. Het is niet voldoende om te zeggen "onderzoek dit"; je moet een concrete taak definiëren. verwachte output Zeker, zoiets als "een document met 5 belangrijke bevindingen en hun bronnen." Zodra de agenten en hun missies zijn gedefinieerd, worden ze ingedeeld in de Crew-klasse, waarmee een structuur wordt gecreëerd. Process.sequential zodat het werk van de onderzoeker de grondstof voor de schrijver wordt, en de schrijver op zijn beurt de grondstof voor de redacteur.

Het systeem verbeteren met tools en geheugen.

De ware kracht komt pas tot uiting wanneer agenten kunnen interageren met de echte wereld. CrewAI biedt tools voor het lezen van bestanden, het schrijven van documenten en het scrapen van websites. Bovendien kunt u aangepaste tools maken door van BaseTool over te erven en Python-specifieke functies toe te voegen, zoals een risicocalculator of een datavalidator. Om te voorkomen dat het team een ​​reeks geïsoleerde prompts wordt, is het cruciaal om gedeeld geheugen in te schakelen (memory=True) , zodat agenten kunnen onthouden wat hun collega's eerder hebben ontdekt.

Probleemoplossing en hardware-optimalisatie

Het komt vaak voor dat de volgende fout optreedt: Connection refused Als Ollama niet op poort 11434 draait of als je CORS-problemen ondervindt bij het verbinden vanuit een browser, start Ollama dan met... OLLAMA_ORIGINS="*" Dit lost het probleem meestal op. Als u merkt dat de kwaliteit van de reacties laag is, is het lokale model waarschijnlijk te klein; upgraden naar een versie met 14 of 32 parameters zal de redenering verbeteren, hoewel dit wel wat extra werk vereist. meer VRAM van je grafische kaart.

Geavanceerde strategieën en toepassingsvoorbeelden

Dit systeem is niet zomaar een speeltje; het heeft concrete toepassingen in de praktijk tegen 2026. Deze variëren van het automatiseren van cybersecurityrapporten die CVE's elke nacht analyseren tot het uitvoeren van technologische due diligence voor startups. De sleutel tot succes ligt in het duidelijk definiëren van rollen; een agent die alles probeert te doen, is uiteindelijk inefficiënt. Het is aan te raden om te beginnen met lichtgewicht modellen zoals Mistral 7B voor de ontwikkeling en pas over te stappen op zwaardere modellen wanneer de complexiteit van de taak dit absoluut vereist.

De overgang van een enkele LLM naar een autonome agentfabriek automatiseert processen die voorheen uren handmatig toezicht vereisten. Door de orchestratie van CrewAI te combineren met de on-premises infrastructuur van Ollama, ontstaat een gespecialiseerde, private intelligentieomgeving die continu operationeel is. Dit elimineert de afhankelijkheid van maandelijkse abonnementen en beschermt het intellectuele eigendom van het bedrijf.