Komplet guide til integration af CrewAI med Ollama Local Models og OpenAI API'er

Har du nogensinde følt, at uanset hvor kraftfuld din sprogmodel er, så ridser svarene kun overfladen eller bliver fuldstændig upålidelige, når opgaven bliver kompleks? Det typiske problem er at forsøge at have en enkelt AI til at fungere som forsker, forfatter og korrekturlæser på én gang, hvilket ender med at forurene konteksten og generere middelmådige resultater. Nøglen til at tage springet fremad ligger ikke i at finde en større model, men i at implementere et system med flere agenter, hvor hver enhed har en højt specialiseret rolle.

For at opnå dette uden at lade dine data forlade dit netværk og uden at din tegnebog lider under API-omkostninger, præsenterer kombinationen af ​​CrewAI og Ollama sig som den ultimative løsning. I denne guide vil vi gennemgå, hvordan du opsætter dit eget team af autonome agenter, der kører helt lokalt, og udnytter din computers hardware til at skabe arbejdsgange, der undersøger, analyserer og skriver professionelle rapporter uden konstant menneskelig indgriben.

Paradigmet for multi-agent-systemer versus enkelt-agent-systemer

Når vi beder en enkelt agent om at administrere femten forskellige værktøjer og en endeløs prompt, begår vi den fejl at ansætte en person til både at være administrerende direktør og praktikant. Som agentisk designarkitektur antyder, fører samarbejde mellem specialister til eksponentielle forbedringer i kvalitet. Mens en enkelt agent går tabt i kompleksiteten, giver CrewAI dig mulighed for at definere roller, mål og delt viden og organisere dem i et "hold", der udfører opgaver sekventielt eller hierarkisk.

Jordforberedelse: Krav og værktøjer

For at sikre, at alt kører problemfrit uden at din pc overopheder, har du ideelt set Python 3.10 eller nyere og en maskine med mindst 16 GB RAM. Hvis du har en GPU med 8 GB VRAM, vil responstiden være betydeligt hurtigere, da lokal inferens er ret ressourcekrævende. Og selvfølgelig skal du installere Ollama, den motor, der demokratiserer adgangen til LLM'er, så du kan køre modeller som Llama 3, Mistral eller Qwen uden at være afhængig af skyen.

CrewAI-installation og -konfiguration

CrewAI-frameworket er let og designet til produktionsmiljøer. For at komme i gang skal du blot køre pip install crewai Og, varmt anbefalet, værktøjssættet med pip install 'crewai[tools]'Hvis du vil gå et skridt videre, kan du bruge dens CLI til at generere strukturen af ​​et professionelt projekt ved hjælp af crewai create crew nombre_proyectoDette opretter automatisk mapper til agent- og opgavekonfigurationer i YAML-filer, hvilket holder din kode ren og organiseret.

Forbinder lokal efterretningstjeneste med Ollamama

Selvom CrewAI som standard er konfigureret til OpenAI, er det nemt at omdirigere trafik til din maskine. Sørg først for, at Ollama er aktiv med ollama serve og at du har downloadet den ønskede model (f.eks. qwen3.5:latestI Python-koden bruger vi klassen i stedet for at bruge standard OpenAI-klasser CrewAI LLM konfigurering af base_url som http://localhost:11434.

Et trick til at undgå godkendelsesfejl er at definere miljøvariabler, hvor OPENAI_API_KEY være en fiktiv værdi (såsom "ikke-nødvendig") og OPENAI_API_BASE Peg på din lokale server. På denne måde tror systemet, at det kommunikerer med en ekstern API, men i virkeligheden Alt sker på din egen hardware.garanterer total privatliv og nul omkostninger.

Design af teamet: Agenter, opgaver og processer

Forestil dig, at vi vil generere en teknisk rapport. For at gøre dette definerer vi tre forskellige roller: en seniorforsker, en teknisk skribent og en omhyggelig redaktør. Hver af dem har en detaljeret baggrundshistorie , der fungerer som deres personligheds- og adfærdsguide. Vi tildeler websøgeværktøjer (som SerperDevTool) til forskeren, mens skribenten er ansvarlig for at strukturere informationen i Markdown, og redaktøren for at finpudse den endelige stil.

Opgaver skal være præcise. Det er ikke nok at sige "undersøg dette"; du skal definere en forventet output Ja, ligesom "et dokument med 5 nøglefund og deres kilder." Når agenterne og deres missioner er defineret, grupperes de i Crew-klassen, hvilket etablerer en Process.sequential således at forskerens arbejde bliver forfatterens råmateriale, og forfatteren til gengæld bliver redaktørens.

Forbedring af systemet med værktøjer og hukommelse

Den sande styrke opstår, når agenter kan interagere med den virkelige verden. CrewAI tilbyder værktøjer til at læse filer, skrive dokumenter og scrape websteder. Derudover kan du oprette brugerdefinerede værktøjer ved at arve fra BaseTool for at tilføje Python-specifikke funktioner, såsom en risikoberegner eller en datavalidator. For at forhindre teamet i at blive en række isolerede prompts, er det afgørende at aktivere delt hukommelse (memory=True) , så agenter kan huske, hvad deres kolleger tidligere har opdaget.

Fejlfinding og hardwareoptimering

Det er almindeligt at støde på fejlen med Connection refused Hvis Ollama ikke kører på port 11434, eller du oplever CORS-problemer, når du forsøger at oprette forbindelse fra en browser, skal du starte Ollama med... OLLAMA_ORIGINS="*" Dette løser normalt problemet. Hvis du bemærker, at kvaliteten af ​​svarene er lav, er den lokale model sandsynligvis for lille; opgradering til en 14B- eller 32B-parameterversion vil forbedre ræsonnementet, selvom det vil kræve mere VRAM fra dit grafikkort.

Avancerede strategier og anvendelsessager

Dette system er ikke bare legetøj; det har anvendelser i den virkelige verden inden 2026. Disse spænder fra at automatisere cybersikkerhedsrapporter , der analyserer CVE'er hver nat, til at udføre teknologisk due diligence for startups. Nøglen til succes ligger i at holde rollerne klart definerede; en agent, der forsøger at gøre alt, ender med at være ineffektiv. Anbefalingen er at starte med letvægtsmodeller som Mistral 7B til udvikling og kun skalere til tungere modeller, når opgavens kompleksitet absolut kræver det.

Overgangen fra en enkelt LLM til en autonom agentfabrik automatiserer processer, der tidligere krævede timevis af manuel overvågning. Ved at kombinere CrewAIs orkestrering med Ollamas lokale infrastruktur skabes et specialiseret, privat intelligensmiljø , der fungerer kontinuerligt, hvilket eliminerer afhængigheden af ​​månedlige abonnementer og beskytter virksomhedens intellektuelle ejendom.