Kunstig intelligens på Raspberry Pi: modeller, agenter og akseleratorer

La Kunstig intelligens på Raspberry Pi Det opplever et ganske spesielt øyeblikk. Inntil nylig, da vi tenkte på AI, så vi for oss enten en stor skybasert chatbot som krevde et abonnement, eller en ekstremt dyr datamaskin full av GPU-er for å kjøre enorme modeller lokalt. Nå har landskapet endret seg: ankomsten av agenter som OpenClaw, destillerte modeller som DeepSeek og nye akseleratorer som AI HAT+ 2 har satt det lille forumet i sentrum av samtalen.

Denne endringen er ikke bare en forbigående trend: Kombinasjonen av Raspberry Pi 5, lette modeller og dedikert AI-maskinvare Det lar deg kjøre chatboter, oversettere, kodeassistenter eller datasynssystemer uten å være avhengig av skyen. Alt dette med større kontroll over sikkerhet, kostnader og personvern, selv om det også finnes klare begrensninger du bør være klar over for å unngå skuffelse.

Fremveksten av AI-agenter og rollen til Raspberry Pi

De siste månedene har det vært mye snakk om AI-agenter som er i stand til å handle på egenhåndOg et av navnene som har skapt mest blest er OpenClaw. I motsetning til en klassisk chatbot som bare svarer på meldinger, er en agent et system som kan ta avgjørelser og utføre handlinger: starte skript, kalle API-er, samhandle med eksterne tjenester eller manipulere filer i et bestemt datamiljø.

Det interessante er at Denne typen agent trenger ikke at «hjernen» skal være i selve Raspberry Pi-en.Vanligvis kjører den større modellen i skyen, mens kortet fungerer som en orkestrator: det opprettholder samtalen, administrerer brukerkonteksten, starter kommandoer i systemet og fungerer som en bro mellom den fysiske verden (sensorer, aktuatorer, hjemmeautomasjon) og den eksterne AI-en.

Samtidig konfigurasjoner designet for kjøre mindre modeller direkte på Raspberry Pi-maskinvarenVerktøy som Ollama eller llama.cpp lar deg laste inn reduserte LLM-er optimalisert for ARM-arkitekturen, spesielt på modeller som Raspberry Pi 4 eller 5 med tilstrekkelig RAM. Det er ikke magi: noen funksjoner og hastighet ofres, men for visse bruksområder er resultatet helt brukbart.

Dette nye scenariet har til og med ført til bevegelser i finansmarkedet rundt Raspberry Pimed bemerkelsesverdige økninger i aksjekursen knyttet til entusiasme for tilgjengelige AI-agenter. Til syvende og sist er ideen som slår fast små fysiske enheter dedikert til å kjøre eller koordinere AI, i stedet for å utelukkende stole på store datasentre eller avanserte stasjonære datamaskiner.

Sikkerhet, isolasjon og tvil om tilnærmingen

Å gi en AI-agent dyp tilgang til et system er ingen spøk: En agent med brede tillatelser kan lese filer, flytte data, fylle ut nettskjemaer eller få tilgang til kritiske tjenester.Raspberry Pi-økosystemet understreker selv at dette innebærer reelle risikoer, fordi disse algoritmene ikke er ufeilbarlige og kan gjøre feil eller oppføre seg uventet; derfor er det tilrådelig å følge [de relevante retningslinjene/metodene]. god datasikkerhetspraksis.

Det er her en av hovedkortets store fordeler kommer inn i bildet: Å bruke en Raspberry Pi som et isolert miljø reduserer virkningen av potensielle feil.I stedet for å gi direkte kontroll til hoveddatamaskinen din, kan du sette opp et dedikert system der agenten bare har tilgang til de strengt nødvendige ressursene. Denne fysiske «sandkassen» bidrar til å begrense skade og gir mulighet for eksperimentering med større trygghet.

Ikke alle er overbevist om at denne tilnærmingen er et universalmiddel. Spesialiserte medier har påpekt at Raspberry Pi har mistet noe av appellen sin som et ultra-billig alternativ.Spesielt i avanserte konfigurasjoner med mye RAM. En Raspberry Pi 5-modell med 16 GB kan nærme seg eller overstige 200 dollar, noe som for noen undergraver den opprinnelige ideen om en rimelig datamaskin for alle.

I så måte finnes det skeptiske stemmer som mener at Å bruke en Raspberry Pi som base for komplekse agenter som OpenClaw er kanskje ikke den ideelle avgjørelsen. Hvis budsjettet er stramt, kan kostnaden for hovedkort, minne og eventuelle AI-akseleratorer øke prisen betydelig, noe som gjør den dyrere enn kraftigere eller mer fleksible alternativer.

Likevel er metoden med dedikerte enheter og risikoisolering fortsatt svært attraktiv: som verdsetter sikkerhet, personvern og kontrollert eksperimentering Raspberry Pi er et perfekt «laboratorium» for testing av agenter og modeller uten at det går på bekostning av kritiske arbeidsmaskiner.

Raspberry Pi 5 som en plattform for lokale AI-modeller

Utover agentenes del, Raspberry Pi 5 har etablert seg som et utrolig allsidig verktøyDen er fortsatt fantastisk for robotikk, elektronikk, hjemmeautomatisering eller multimedia, men den nåværende maskinvaren lar deg gå et skritt videre og bruke den som grunnlag for virkelige, lokale kunstig intelligens-prosjekter.

Takket være den raskere CPU-en, GPU-forbedringene og muligheten til å bygge konfigurasjoner med mye RAM, Raspberry Pi 5 er i stand til å kjøre lette AI-modeller rimelig bra.Det vil ikke erstatte en server full av GPU-er, men det tillater eksperimentering med datasyn, talegjenkjenning, kompakte språkmodeller eller spesifikke assistenter for svært spesifikke oppgaver.

En felles strategi innebærer velg modeller med åpen kildekode som er optimalisert for begrenset maskinvareEksempler som vanligvis brukes inkluderer Mistral 7B, noen små varianter av Orca eller kompakte modeller som Microsoft Phi-2, forutsatt at det finnes tilpassede og fremfor alt reduserte versjoner med kvantiserings- eller destillasjonsteknikker for å passe inn i minnet.

Det er viktig å forstå det Disse mindre LLM-ene spiller ikke i samme liga som giganter som GPT-4De mister dybde, kontekst og respons, spesielt når de har med svært generelle eller komplekse emner å gjøre. Til gjengjeld tilbyr de akseptabel latens, lavere strømforbruk og fordelen av å ikke være avhengige av eksterne tilkoblinger – en nøkkelfaktor når all prosessering skal skje på selve kortet.

Denne kombinasjonen gjør Raspberry Pi 5 til en slags «sandkasse» ideell for læring, prototyping og distribusjon av AI-løsninger som ikke krever ekstrem teknisk kunnskap eller uhyrlige investeringer, forutsatt at det er helt klart hva som kan og ikke kan forventes av disse reduserte modellene.

Grunnleggende trinn for å få AI i gang på en Raspberry Pi 5

For å sette opp et prosjekt som kjører AI lokalt på Raspberry Pi 5, er det nyttig å følge en rekke generelle trinn. Det er ikke en fast oppskrift, men det er en mental veiledning. av hva du finner når du begynner å fikle.

Det første punktet er velg en modell som er kompatibel med ARM-arkitekturen og kortet sitt ressurserDet er her modeller som den nevnte Mistral 7B i svært komprimerte versjoner, noen små Orca- eller nedskalerte Phi-2-modeller, og andre LLM-er fra 1B til 7B med parametere forberedt for å kjøre på beskjedne enheter, kommer inn i bildet. Jo mindre modellen er, desto enklere er den å kjøre, men også desto mer begrenset vil den være.

Så kommer delen av Installer støtteprogramvaren for arbeid med nevrale nettverkAvhengig av dine behov kan du bruke TensorFlow Lite for visjonsprosjekter, PyTorch hvis du skal bruke spesifikke repositorier, eller dedikerte runtime-programmer som Edge TPU når du skal bruke eksterne akseleratorer. For LLM gjør verktøy som llama.cpp eller Ollama ting mye enklere.

Når du har programvaren, trykker du på Konfigurer kjøretidsmiljøet på Raspberry PiDette innebærer å justere systemalternativer, installere ytterligere avhengigheter, sørge for at modellen er optimalisert for ARM, og ofte leke med parametere som kontekststørrelse, kvantiseringsnivå eller antall tråder for å balansere ytelse og minneforbruk.

Når alt er satt opp, kan du gå videre til Kjør modellen og begynn å trekke konklusjonerDet er her du ser om maskinvare-programvare-kombinasjonen holder mål. Du må laste inn data, sende spørringer, sjekke latens og se hvor godt svarkvaliteten samsvarer med forventningene dine. Det er vanlig å måtte finjustere utallige detaljer til systemet kjører problemfritt. Det anbefales å sjekke diskplass ved hjelp av verktøy for... analyser og rengjør disken din.

Hvis ytelsen ikke er god nok, har du muligheten til å Legg til en ekstern akselerator for å avlaste CPU-en.Enheter som USB Coral med Edge TPU eller de nye kortene basert på Hailo-brikker lar nevrale nettverk kjøre mye raskere og med lavt energiforbruk, noe som i mange tilfeller endrer opplevelsen fullstendig.

Personvern, sikkerhet og fordelene ved å behandle alt lokalt

Et av de sterkeste argumentene for å bruke AI på en Raspberry Pi er muligheten til å lagre data i nettverket dittNår du kjører en modell lokalt, sender du ikke personlig eller sensitiv informasjon til en tredjepartsserver, noe som er spesielt relevant i profesjonelle, pedagogiske eller avanserte hjemmeautomatiseringsmiljøer. Det er også lurt å bruke teknikker for kryptert sikkerhetskopi til kopiene dine.

Dette betyr det Du har mye mer kontroll over hvem som har tilgang til det du behandler.Hvis din lokale assistent analyserer interne dokumenter, overvåker sikkerhetskameraer eller administrerer brukshistorikk for hjemmet ditt, forblir alt innenfor infrastrukturen din. Du er ikke avhengig av å endre personvernregler eller potensielle brudd i eksterne tjenester.

Parallelt fungerer Raspberry Pi nesten som en «Fysisk brannmur» for dine AI-eksperimenterDu kan sette opp et separat system fra hovednettverket ditt, begrense tilgangen til bestemte ressurser og sørge for at selv om modellen gjør merkelige feil eller agenten blir for kreativ, så begrenses den potensielle skaden.

Dette utelukker selvsagt ikke behovet for å konfigurere tillatelser, brukere og nettverksregler på riktig måteEn agent med for mye frihet på en dårlig sikret Raspberry Pi kan fortsatt være et problem. Forskjellen er at siden det er et dedikert og rimelig miljø, er det mye enklere å revidere, bygge opp igjen fra bunnen av, eller til og med fysisk koble fra hvis noe går galt.

Kort sagt, for de som verdsetter databeskyttelse og muligheten til å revidere hele informasjonsflyten, Å bruke en Raspberry Pi som en lokal AI-node gir en trygghet som er vanskelig å få. når alt avhenger av skytjenester som administreres utenfra organisasjonen din eller hjemmet ditt.

DeepSeek og realiteten av å kjøre store modeller på beskjeden maskinvare

Et annet navn som har rystet landskapet er DeepSeek, spesielt modellen DeepSeek R1, designet for resonnering og med en svært ambisiøs tilnærmingMange overskrifter har fremhevet at den overgår noen av de mest avanserte kommersielle modellene og kan kjøres lokalt, noe som gir næring til ideen om å ha en "hjemmelaget ChatGPT" på hvilken som helst maskin.

Det er viktig å sette ting på plass: Fullversjonen av DeepSeek R1 671B er et monster på over 400 GB. Og den krever flere svært avanserte GPU-er for å kjøre problemfritt. Det er varianten som virkelig konkurrerer med toppmodellene fra OpenAI eller lignende plattformer, og den er fullstendig utenfor rekkevidde for en Raspberry Pi eller en vanlig PC.

Den store forskjellen sammenlignet med andre lukkede leverandører er at hvis du har maskinvaren, Du kan laste ned modellen, sette den sammen med verktøy som Ollama, og kjøre den hjemme.og i mange tilfeller vil du trenge koble til en ekstern harddisk for å lagre vektene. Men vi snakker om konfigurasjoner som koster flere tusen euro, med kort som RTX 4090, A100 eller tilsvarende datasenterkort; ingenting som en mikrodatamaskin med lavt strømforbruk.

For å la vanlige folk spille DeepSeek på standardmaskiner eller enheter som Raspberry Pi, brukes følgende trinn: destillerte og reduserte modellerDette er i hovedsak komprimerte versjoner av originalen som beholder noe av dens oppførsel på bekostning av kapasitet og kunnskap. Det er her varianter av 14B-, 7B- eller til og med 1.5B-parametere kommer inn i bildet.

Det viktigste spørsmålet er hvor mye som går tapt underveis. Forholdet mellom modellstørrelse, minne og responskvalitet er veldig tydeligHvis referansemodellen er over 400 GB og Wikipedia allerede opptar nærmere 100 GB, er det ikke realistisk å forvente at en versjon på litt over 1 GB vil ha all den kunnskapen tilgjengelig i detalj.

Ekte tester av DeepSeek på forskjellige enheter

For å se disse forskjellene i praksis, er det nyttig å sammenligne oppførselen til de ulike DeepSeek-variantene på ulik maskinvare. På en arbeidsstasjon med Et RTX 3060 GPU med 12 GB VRAM kan kjøre 14B-parameterversjonen rimelig bra., og til og med tvinge frem 32B-versjonen ved å bruke system-RAM, selv om hastighetene synker betydelig.

Hvis du prøver skyversjonen av DeepSeek, uten lokale maskinvarebegrensningerDen større modellen yter feilfritt og demonstrerer tydelig hvorfor den konkurrerer med bransjegigantene. Forskjellen er merkbar både i hastigheten og konsistensen på responsene og evnen til å håndtere komplekse instruksjoner.

Når du går ned til bakken til en Med en Raspberry Pi og 8 GB RAM endres scenariet radikalt.I dette tilfellet er den største modellen som kan utføres funksjonelt den med 7B-parametere, og selv da er hastigheten rundt 1 token per sekund. Dette gjør det nesten uutholdelig å opprettholde en flytende samtale.

Når man vurderer kvaliteten på svarene, blir forskjellen enda tydeligere. Stilt overfor et enkelt generelt kunnskapsspørsmål, som for eksempel hvem som er en kjent karakter fra en populær serie, 14B-modellen har rett, mens 7B-modellen begynner å gi merkelige svar.1.5B-en gir direkte resultater som minner mer om en oppdiktet tekst uten solid grunnlag.

Mønsteret gjentas med mer generiske spørringer: Små varianter har en tendens til å gi sjeldne, ufullstendige eller tydelig feilaktige svar.Dette er logisk: ved å redusere modellens størrelse så mye, blir dens representasjonskapasitet og dens implisitte «minne» om verden brutalt kuttet, så den kan ikke forventes å oppføre seg som en toppmodell.

Hva brukes egentlig de destillerte modellene på Raspberry Pi til?

Til tross for disse begrensningene har destillerte og kompakte modeller svært interessante bruksområder i enheter som Raspberry Pi. De er ikke ment å erstatte store, generelle chatboter.men å løse veldefinerte oppgaver der kreativitet og leksikonisk kunnskap ikke er hovedfokus.

Et av feltene der de jobber rimelig bra er innen grunnleggende matematikkhjelp og kodegjennomgangFor å oppdage enkle feil i skript, foreslå små funksjoner eller foreslå forbedringer av deler av Python-kode, gir en 7B- eller 14B-modell vanligvis nyttige svar så lenge den ikke blir bedt om noe ekstremt spesifikt eller innviklet.

De kan også være svært nyttige for Generer og korriger kodefragmenter brukt på hjemmeautomasjon, automatisering eller små prosjekterFor eksempel kan en 14B-modell foreslå en Home Assistant-automatisering med en viss sammenheng, mens 1.5B-versjonen vil ha en tendens til å finne opp deler eller tilby noe som ikke kompilerer eller gir mening.

Der de systematisk mislykkes er i generelle kunnskapsspørsmål, detaljert faktainformasjon eller oppgaver som krever mye kontekstVidere er humoristisk sans og evnen til å føre lange, naturlige samtaler påfallende fraværende selv i relativt store modeller, noe som gjør dem til ikke det beste valget for bruk som "virtuelle venner".

Et merkelig eksempel er å be dem om å Lag en kompleks nettside, for eksempel en landingsside for å selge et kurs.Alle modeller kan produsere en funksjonell HTML-struktur, men jo mer destillert og mindre varianten er, desto enklere, styggere og innholdsfattigere blir det genererte nettstedet, og det mister detaljer og nyanser underveis.

Kort sagt, små modeller bygget på en Raspberry Pi er ideelle for bistå med begrensede tekniske oppgaver, hjemmeautomasjon, små utviklingsassistenter eller lett dataklassifiseringMen det er ikke ment å erstatte en toppmoderne skytjeneste når det du ønsker er en allsidig assistent for generell bruk.

Raspberry Pi, hjemmeautomasjon og lett kunstig intelligens

En av de mest lovende bruksområdene for AI på Raspberry Pi er smart hjemmeautomatisering med lette modellerTanken er å bruke brettet som en lokal hjerne som tolker kommandoer, kobler seg til sensorer og aktuatorer, og tar enkle avgjørelser uten å måtte sende noe til skyen.

For eksempel kan man sette opp et system der En liten språkmodell er ansvarlig for å forstå talekommandoer., inkludert forbehandlingstrinn som Rengjør mikrofonstøysom for eksempel «trekk ned persiennene i stuen når solen skinner direkte på rommet» eller «slå på varmen bare hvis noen er hjemme og temperaturen synker under en viss terskel». Modellen trenger ikke å vite hvem en historisk skikkelse er eller skrive poesi: den trenger bare å oversette forespørsler til konkrete handlinger.

Med denne tilnærmingen kan selv en LLM med parametere på 1.5B eller 3B gi mening. fordi funksjonen ikke er å gi strålende svar, men å knytte naturlig språk til strukturerte kommandoerHvis det er spesifikt trent eller justert for det domenet (hjemmeautomasjon, sensorer, rutiner), kan resultatene bli overraskende gode med tanke på hvor lett systemet er.

Denne typen løsning lar deg lage smarte hjem som er mye mer respektfulle overfor personvernetder verken talekommandoer eller enhetsbruksmønstre forlater det lokale nettverket. Ved å ikke være avhengig av eksterne tjenester, forhindres det dessuten at alt slutter å fungere på grunn av at en leverandør endrer API-et sitt, en server går ned eller at tjenesten legges ned.

Selv om det fortsatt er mye som må forbedres og testes, er potensialet ved å kombinere små modeller med hjemmeautomatiseringsplattformer som Home Assistant eller egne systemer Potensialet for dette på Raspberry Pi er enormt, og alt tyder på at vi ser flere og flere eksperimenter og virkelige prosjekter langs denne linjen.

AI-akseleratorer for Raspberry Pi: Hailo, AI HAT+ og andre moduler

For å overvinne begrensningene til Raspberry Pis CPU har det dukket opp nye teknologier. dedikerte AI-akseleratorer som integreres direkte med kortetMålet er å behandle nevrale nettverk mye raskere og mer effektivt enn en CPU eller, i noen tilfeller, en konvensjonell GPU.

Sammenlignet med generelle prosessorer er disse akseleratorene designet for å kjøre parallelt de matematiske operasjonene som er typiske for maskinlæringDette reduserer inferenstiden og også energiforbruket, noe som er viktig i innebygde enheter eller i situasjoner der et stort kontinuerlig energiforbruk ikke kan tolereres.

Et svært utbredt eksempel er bruken av en M.2 HAT+ kort koblet til Raspberry Pi 5 sammen med en M.2 2242-modul som integrerer en Hailo-8L-brikkeDenne typen sett legger til en dedikert nevral prosesseringsenhet som akselererer synsoppgaver, objektdeteksjon eller til og med noen generative modeller som er optimalisert for arkitekturen.

Hailo-brikken fokuserer på å behandle komplekse operasjoner parallelt med høy energieffektivitetSammenlignet med CPU- eller GPU-baserte løsninger, betyr dette mindre varme, reduserte kjølebehov og forbedret batterilevetid – en betydelig fordel i industriprosjekter, robotikk og distribuerte smarte sensorer.

Takket være disse modulene kan Raspberry Pi gå fra å være en enkel koordinator til bli en virkelig kapabel inferensnode, kjører sofistikerte nevrale nettverk direkte i utkanten av nettverket uten å mette kortet og opprettholder svært lav latens.

AI HAT+ 2 og spranget til lokale LLM-er på Raspberry Pi 5

En av de mest slående lanseringene i dette området er Raspberry Pi AI HAT+ 2, et utvidelseskort designet for Raspberry Pi 5 som inneholder Hailo-10H-brikken. Denne koprosessoren tilbyr en inferensytelse på rundt 40 TOPS, nok til å håndtere lette generative AI-modeller lokalt.

Med denne maskinvaren kan Raspberry Pi 5 kjøre relativt kompakte språkmodeller med lav latensuten å overbelaste hoved-CPU-en. Prosesseringen delegeres til Hailo-10H, som håndterer intensiv drift mens kortet administrerer applikasjonslogikk, brukerinput og integrasjon med andre systemer.

De kompatible modellene som offisielt er nevnt inkluderer DeepSeek-R1-Distill, Llama 3.2, Qwen2.5-koder, Qwen2.5-instruksjon og Qwen2De fleste har rundt 1.500 milliarder parametere, mens Llama 3.2 har omtrent 1.000 milliard, alle designet for å tilby en rimelig balanse mellom kapasitet og ressursforbruk.

Offentlige forsøk viser at disse modellene kan brukes til grunnleggende chatoppgaver, tekstoversettelse, generering av kodebiter eller scenebeskrivelse Når det kombineres med visuell input, er latensen lav, og brukeropplevelsen kommer mye nærmere det folk forventer av moderne interaktiv AI.

Det er imidlertid viktig å være tydelig på at AI HAT+ 2 tillater ikke kjøring av massive modeller lokalt, som ChatGPT, Claude eller de større Meta LLM-ene.Disse systemene har hundrevis av milliarder eller billioner av parametere, langt utover hva en koprosessor av denne typen i en Raspberry Pi 5 med rimelighet kan håndtere.

Den store appellen til AI HAT+ 2 er at den, til en pris på rundt 130 dollar, Den lar deg gjøre en Raspberry Pi 5 om til en svært kapabel liten, lokal AI-stasjon.Den gir tilgang til et arkiv med Hailo-eksempler og rammeverk rettet mot både datasyn og generativ AI. Det er et viktig verktøy for de som ønsker å gå utover rent symbolske modeller og virkelig eksperimentere med moderne nevrale nettverk i utkanten av teknologien.

Landskapet som dukker opp rundt kunstig intelligens på Raspberry Pi er ganske kraftig: blant skybaserte agenter, lette lokale modeller, dedikerte akseleratorer og nye kort som AI HAT+ 2Det lille brettet har blitt et ideelt laboratorium for å utforske hvordan distribuert AI vil se ut i hverdagsenheter, forutsatt at strømbegrensninger tas i betraktning og prosjekter utformes med omhu.