Mākslīgais intelekts uz Raspberry Pi: modeļi, aģenti un paātrinātāji

La Mākslīgais intelekts uz Raspberry Pi Tas piedzīvo diezgan īpašu brīdi. Vēl nesen, domājot par mākslīgo intelektu, mēs iztēlojāmies vai nu lielu mākonī balstītu tērzēšanas robotu, kam nepieciešams abonements, vai arī ārkārtīgi dārgu datoru, kas pilns ar grafiskajiem procesoriem, lai lokāli darbinātu milzīgus modeļus. Tagad ainava ir mainījusies: tādu aģentu kā OpenClaw, destilētu modeļu kā DeepSeek un jaunu paātrinātāju, piemēram, AI HAT+ 2, parādīšanās ir izvirzījusi mazo tāfeli sarunas centrā.

Šīs pārmaiņas nav tikai pārejoša mode: Raspberry Pi 5, vieglo modeļu un īpašas mākslīgā intelekta aparatūras kombinācija Tas ļauj jums darbināt tērzēšanas robotus, tulkotājus, koda asistentus vai datorredzes sistēmas, nepaļaujoties uz mākoņpakalpojumiem. Tas viss ar lielāku kontroli pār drošību, izmaksām un datu privātumu, lai gan pastāv arī skaidri ierobežojumi, kas jums jāzina, lai izvairītos no vilšanās.

Mākslīgā intelekta aģentu uzplaukums un Raspberry Pi loma

Pēdējos mēnešos daudz tiek runāts par Mākslīgā intelekta aģenti, kas spēj rīkoties patstāvīgiUn viens no nosaukumiem, kas ir izraisījis vislielāko ažiotāžu, ir OpenClaw. Atšķirībā no klasiskā tērzēšanas robota, kas atbild tikai uz ziņojumiem, aģents ir sistēma, kas var pieņemt lēmumus un veikt darbības: palaist skriptus, izsaukt API, mijiedarboties ar ārējiem pakalpojumiem vai manipulēt ar failiem noteiktā skaitļošanas vidē.

Interesanti ir tas Šāda veida aģentam nav nepieciešams, lai "smadzenes" atrastos pašā Raspberry Pi.Parasti lielāks modelis darbojas mākonī, savukārt tāfele darbojas kā orķestrētājs: tā uztur sarunu, pārvalda lietotāja kontekstu, palaiž komandas sistēmā un darbojas kā tilts starp fizisko pasauli (sensoriem, izpildmehānismiem, mājas automatizāciju) un attālo mākslīgo intelektu.

Tajā pašā laikā konfigurācijas, kas paredzētas palaist mazākus modeļus tieši uz Raspberry Pi aparatūrasTādi rīki kā Ollama vai llama.cpp ļauj ielādēt samazinātus LLM, kas ir optimizēti ARM arhitektūrai, īpaši tādos modeļos kā Raspberry Pi 4 vai 5 ar pietiekamu RAM. Tā nav maģija: dažas iespējas un ātrums tiek upurēti, taču noteiktiem lietošanas veidiem rezultāts ir pilnībā lietojams.

Šis jaunais scenārijs ir novedis pat pie tā, ka Raspberry Pi finanšu tirgus kustībasar ievērojamu akciju cenas pieaugumu, kas saistīts ar entuziasmu par pieejamiem mākslīgā intelekta aģentiem. Galu galā ideja, kas gūst virsroku, ir par mazām fiziskām ierīcēm, kas paredzētas mākslīgā intelekta darbībai vai koordinēšanai, nevis tikai paļaušanos uz lieliem datu centriem vai augstas klases galddatoriem.

Drošība, izolācija un šaubas par pieeju

Piešķirt mākslīgā intelekta aģentam dziļu piekļuvi sistēmai nav joks: Aģents ar plašām atļaujām var lasīt failus, pārvietot datus, aizpildīt tīmekļa veidlapas vai piekļūt kritiski svarīgiem pakalpojumiem.Pati Raspberry Pi ekosistēma uzsver, ka tas ir saistīts ar reāliem riskiem, jo ​​šie algoritmi nav nekļūdīgi un var kļūdīties vai uzvesties negaidīti; tāpēc ieteicams ievērot [attiecīgās vadlīnijas/metodes]. laba datoru drošības prakse.

Šeit izpaužas viena no lielākajām mātesplates priekšrocībām: Raspberry Pi izmantošana kā izolēta vide samazina iespējamo kļūmju ietekmi.Tā vietā, lai piešķirtu tiešu kontroli galvenajam datoram, varat iestatīt īpašu sistēmu, kurā aģentam ir piekļuve tikai absolūti nepieciešamajiem resursiem. Šī fiziskā "smilškaste" palīdz ierobežot bojājumus un ļauj eksperimentēt ar lielāku sirdsmieru.

Ne visi ir pārliecināti, ka šī pieeja ir panaceja. Specializētie plašsaziņas līdzekļi ir norādījuši, ka Raspberry Pi ir zaudējis daļu savas pievilcības kā īpaši lēts variants.Īpaši sarežģītās konfigurācijās ar lielu RAM. Raspberry Pi 5 modelis ar 16 GB var maksāt gandrīz 200 USD vai pat vairāk, kas dažiem grauj sākotnējo ideju par lētu datoru ikvienam.

Šajā ziņā pastāv skeptiski viedokļi, kas uzskata, ka Raspberry Pi izmantošana kā bāze sarežģītiem aģentiem, piemēram, OpenClaw, var nebūt ideāls lēmums. Ja budžets ir ierobežots, mātesplates, atmiņas un jebkuru mākslīgā intelekta paātrinātāju izmaksas var ievērojami palielināt cenu, padarot to dārgāku nekā jaudīgākas vai elastīgākas alternatīvas.

Pat ja tā, specializētas ierīces pieeja ar riska izolāciju joprojām ir ļoti pievilcīga: kurš augstu vērtē drošību, privātumu un kontrolētu eksperimentēšanu Raspberry Pi nodrošina perfektu "laboratoriju" aģentu un modeļu testēšanai, neapdraudot kritiski svarīgu darba mašīnu darbību.

Raspberry Pi 5 kā platforma lokāliem mākslīgā intelekta modeļiem

Papildus aģentu lomai, Raspberry Pi 5 ir sevi pierādījis kā neticami daudzpusīgu rīkuTas joprojām ir fantastiski piemērots robotikai, elektronikai, mājas automatizācijai vai multimedijiem, taču tā pašreizējā aparatūra ļauj spert soli tālāk un izmantot to kā pamatu reālās pasaules, lokāliem mākslīgā intelekta projektiem.

Pateicoties ātrākam centrālajam procesoram, GPU uzlabojumiem un iespējai veidot konfigurācijas ar lielu RAM apjomu, Raspberry Pi 5 spēj samērā labi darbināt vieglus mākslīgā intelekta modeļus.Tas neaizstās serveri, kas pilns ar GPU, taču tas ļauj eksperimentēt ar datorredzi, runas atpazīšanu, kompaktiem valodu modeļiem vai specifiskiem asistentiem ļoti specifiskiem uzdevumiem.

Kopīga stratēģija ietver izvēlēties atvērtā koda modeļus, kas ir optimizēti ierobežotai aparatūraiParasti izmantotie piemēri ir Mistral 7B, daži nelieli Orca varianti vai kompakti modeļi, piemēram, Microsoft Phi-2, ar nosacījumu, ka ir pielāgotas un, galvenais, samazinātas versijas ar kvantēšanas vai destilācijas metodēm, lai tās ietilptu atmiņā.

Ir svarīgi to saprast Šie mazākie LLM nespēlē tajā pašā līgā kā tādi milži kā GPT-4.Tie zaudē dziļumu, kontekstu un atsaucību, īpaši, ja tiek strādāts ar ļoti vispārīgām vai sarežģītām tēmām. Savukārt tie piedāvā pieņemamu latentumu, zemāku enerģijas patēriņu un priekšrocību, ka nav jāpaļaujas uz ārējiem savienojumiem — galvenais faktors, ja visai apstrādei jānotiek pašā platē.

Šī kombinācija pārvērš Raspberry Pi 5 par sava veida “Smilškaste” ir ideāli piemērota mākslīgā intelekta risinājumu apguvei, prototipu veidošanai un ieviešanai kam nav nepieciešamas ārkārtīgas tehniskas zināšanas vai milzīgi ieguldījumi, ja vien ir ļoti skaidrs, ko var un ko nevar sagaidīt no šiem vienkāršotajiem modeļiem.

Pamata darbības, lai iestatītu mākslīgo intelektu uz Raspberry Pi 5

Lai iestatītu projektu, kas lokāli darbina mākslīgo intelektu uz Raspberry Pi 5, ir lietderīgi ievērot virkni vispārīgu darbību. Tā nav fiksēta recepte, bet gan mentāls ceļvedis. par to, ko atradīsi, kad sāksi eksperimentēt.

Pirmais punkts ir izvēlieties modeli, kas ir saderīgs ar ARM arhitektūru un plates resursiemŠeit noder tādi modeļi kā iepriekšminētais Mistral 7B ļoti saspiestās versijās, daži nelieli Orca vai samazināti Phi-2 modeļi, kā arī citi LLM modeļi no 1B līdz 7B ar parametriem, kas sagatavoti darbināšanai uz pieticīgām ierīcēm. Jo mazāks modelis, jo vieglāk to darbināt, bet arī jo ierobežotāks tas būs.

Tad nāk tā daļa, instalēt atbalsta programmatūru darbam ar neironu tīkliemAtkarībā no jūsu vajadzībām, redzes projektiem varat izmantot TensorFlow Lite, PyTorch, ja plānojat izmantot īpašus repozitorijus, vai arī īpašas izpildlaika vides, piemēram, Edge TPU, ja plānojat izmantot ārējos paātrinātājus. LLM gadījumā tādi rīki kā llama.cpp vai Ollama ievērojami atvieglo darbu.

Kad esat ieguvis programmatūru, pieskarieties Konfigurējiet izpildlaika vidi Raspberry Pi ierīcēTas ietver sistēmas opciju pielāgošanu, papildu atkarību instalēšanu, modeļa optimizācijas ARM nodrošināšanas nodrošināšanu un bieži vien spēlēšanos ar tādiem parametriem kā konteksta lielums, kvantizācijas līmenis vai pavedienu skaits, lai līdzsvarotu veiktspēju un atmiņas patēriņu.

Kad viss ir iestatīts, varat pāriet uz Palaidiet modeli un sāciet izdarīt secinājumusŠeit jūs redzat, vai aparatūras un programmatūras kombinācija to spēj paveikt. Jums būs jāielādē dati, jānosūta vaicājumi, jāpārbauda latentums un jānoskaidro, cik labi atbildes kvalitāte atbilst jūsu cerībām. Bieži vien ir jāpielāgo neskaitāmas detaļas, līdz sistēma darbojas nevainojami. Ieteicams pārbaudīt diska vietu, izmantojot rīkus... analizēt un notīrīt disku.

Ja sniegums nav pietiekams, jums ir iespēja Pievienojiet ārēju paātrinātāju, lai atslogotu centrālo procesoru (CPU).Tādas ierīces kā USB Coral ar Edge TPU vai jaunās kartes, kuru pamatā ir Hailo mikroshēmas, ļauj neironu tīkliem darboties daudz ātrāk un ar zemu enerģijas patēriņu, kas daudzos gadījumos pilnībā maina lietošanas pieredzi.

Privātums, drošība un lokālas apstrādes priekšrocības

Viens no spēcīgākajiem argumentiem par labu mākslīgā intelekta izmantošanai Raspberry Pi ir spēja saglabāt datus savā tīklāPalaižot modeli lokāli, jūs nesūtāt personisku vai sensitīvu informāciju uz trešās puses serveri, kas ir īpaši svarīgi profesionālā, izglītības vai progresīvā mājas automatizācijas vidē. Ieteicams arī izmantot metodes, kas paredzētas šifrēta dublēšana jūsu kopijām.

Tas nozīmē, ka Jums ir daudz lielāka kontrole pār to, kas var piekļūt jūsu apstrādātajai informācijai.Ja jūsu vietējais asistents analizē iekšējos dokumentus, uzrauga drošības kameras vai pārvalda jūsu mājas lietošanas vēsturi, tas viss paliek jūsu infrastruktūrā. Jūs neesat atkarīgs no mainīgajām privātuma politikām vai iespējamiem pārkāpumiem ārējos pakalpojumos.

Paralēli Raspberry Pi darbojas gandrīz kā “Fiziskais ugunsmūris” jūsu mākslīgā intelekta eksperimentiemVarat izveidot atsevišķu sistēmu no galvenā tīkla, ierobežot tās piekļuvi noteiktiem resursiem un nodrošināt, ka pat tad, ja modelis pieļauj dīvainas kļūdas vai aģents kļūst pārāk radošs, iespējamie bojājumi tiek ierobežoti.

Protams, tas neizslēdz nepieciešamību pēc pareizi konfigurēt atļaujas, lietotājus un tīkla noteikumusAģents ar pārāk lielu brīvību slikti aizsargātā Raspberry Pi joprojām var radīt problēmas. Atšķirība ir tāda, ka, tā kā tā ir specializēta un lēta vide, to ir daudz vieglāk auditēt, atjaunot no nulles vai pat fiziski atvienot, ja kaut kas noiet greizi.

Rezumējot, tiem, kas novērtē datu aizsardzību un iespēju auditēt visu informācijas plūsmu, Izmantojot Raspberry Pi kā lokālu mākslīgā intelekta mezglu, tiek piedāvāts sirdsmiers, ko ir grūti iegūt. kad viss ir atkarīgs no mākoņpakalpojumiem, kas tiek pārvaldīti ārpus jūsu organizācijas vai jūsu mājām.

DeepSeek un lielu modeļu darbināšanas realitāte ar pieticīgu aparatūru

Vēl viens vārds, kas ir satricinājis ainavu, ir DeepSeek, īpaši modelis DeepSeek R1, kas paredzēts spriešanai un ar ļoti ambiciozu pieejuDaudzos virsrakstos ir uzsvērts, ka tas pārspēj dažus no vismodernākajiem komerciālajiem modeļiem un to var darbināt lokāli, veicinot ideju par "pašdarinātu ChatGPT" jebkurā ierīcē.

Ir svarīgi visu nolikt savās vietās: DeepSeek R1 671B pilna versija ir briesmonis ar vairāk nekā 400 GB ietilpību. Un tā nevainojamai darbībai ir nepieciešami vairāki ļoti augstas klases grafiskie procesori. Šis ir variants, kas patiesi konkurē ar labākajiem OpenAI vai līdzīgu platformu modeļiem, un tas ir pilnīgi nepieejams Raspberry Pi vai standarta datoram.

Lielākā atšķirība salīdzinājumā ar citiem slēgtajiem pakalpojumu sniedzējiem ir tāda, ka, ja jums ir aparatūra, Jūs varat lejupielādēt modeli, salikt to ar tādiem rīkiem kā Ollama un palaist to mājās.un daudzos gadījumos jums būs nepieciešams pievienot ārējo cieto disku lai uzglabātu svarus. Bet mēs runājam par konfigurācijām, kas maksā vairākus tūkstošus eiro, ar tādām kartēm kā RTX 4090, A100 vai līdzvērtīgām datu centra kartēm; nekas tāds kā mazjaudas mikrodators.

Lai parastie cilvēki varētu spēlēt DeepSeek standarta ierīcēs, piemēram, Raspberry Pi, tiek veiktas šādas darbības: destilēti un reducēti modeļiTās būtībā ir saspiestas oriģināla versijas, kas saglabā daļu no tā uzvedības uz ietilpības un zināšanu rēķina. Šeit noder 14B, 7B vai pat 1.5B parametru varianti.

Galvenais jautājums ir, cik daudz tiek zaudēts šajā ceļā. Saistība starp modeļa lielumu, atmiņu un atbildes kvalitāti ir ļoti acīmredzama.Ja atsauces modelis pārsniedz 400 GB un Vikipēdija jau aizņem gandrīz 100 GB, nav reāli sagaidīt, ka versijā, kas nedaudz pārsniedz 1 GB, visas šīs zināšanas būs pieejamas detalizēti.

DeepSeek reālās pasaules testi dažādās ierīcēs

Lai redzētu šīs atšķirības praksē, ir lietderīgi salīdzināt dažādu DeepSeek variantu darbību dažādās aparatūrās. Darbstacijā ar RTX 3060 GPU ar 12 GB VRAM var diezgan labi darbināt 14B parametru versiju.un pat piespiest 32B versiju, izmantojot sistēmas RAM, lai gan ātrums ievērojami samazinās.

Ja izmēģināt DeepSeek mākoņversiju, bez vietējiem aparatūras ierobežojumiemLielākais modelis darbojas nevainojami un skaidri parāda, kāpēc tas konkurē ar nozares gigantiem. Atšķirība ir manāma gan tā atbilžu ātrumā un konsekvencē, gan spējā apstrādāt sarežģītas instrukcijas.

Kad tu nokāp zemē Ar Raspberry Pi un 8 GB RAM situācija radikāli mainās.Šajā gadījumā lielākais funkcionāli izpildāmais modelis ir ar 7B parametriem, un pat tad ātrums ir aptuveni 1 marķieris sekundē. Tas padara plūstošas ​​sarunas uzturēšanu gandrīz nepanesamu.

Izvērtējot atbilžu kvalitāti, atšķirība kļūst vēl skaidrāka. Saskaroties ar vienkāršu vispārīgu zināšanu jautājumu, piemēram, kurš ir labi pazīstams varonis no populāra seriāla, 14B modelis ir pareizs, savukārt 7B modelis sāk sniegt dīvainas atbildes.1.5B versija tieši piedāvā rezultātus, kas vairāk atgādina safabricētu tekstu bez stabila pamata.

Šis modelis tiek atkārtots ar vispārīgākiem vaicājumiem: Nelielas variācijas parasti sniedz retas, nepilnīgas vai acīmredzami kļūdainas atbildes.Tas ir loģiski: tik ļoti samazinot modeļa izmēru, tā reprezentācijas spēja un netiešā pasaules "atmiņa" tiek nežēlīgi samazināta, tāpēc nevar sagaidīt, ka tas uzvedīsies kā augstākās klases modelis.

Kam īsti tiek izmantoti Raspberry Pi destilētie modeļi?

Neskatoties uz šiem ierobežojumiem, destilētiem un kompaktiem modeļiem ir ļoti interesanti pielietojumi tādās ierīcēs kā Raspberry Pi. Tie nav paredzēti, lai aizstātu lielus, vispārējas nozīmes tērzēšanas robotus.bet gan risināt precīzi definētus uzdevumus, kuros galvenā uzmanība nav pievērsta radošumam un enciklopēdiskām zināšanām.

Viena no jomām, kurā viņi darbojas samērā labi, ir pamata matemātikas palīdzība un koda pārskatīšanaLai atklātu vienkāršas kļūdas skriptos, ierosinātu nelielas funkcijas vai ieteiktu uzlabojumus Python koda daļās, 7B vai 14B modelis parasti sniedz noderīgas atbildes, ja vien tam netiek prasīts kaut kas ārkārtīgi specifisks vai sarežģīts.

Tie var būt arī ļoti noderīgi Ģenerējiet un labojiet koda fragmentus, kas tiek lietoti mājas automatizācijai, automatizācijai vai maziem projektiemPiemēram, 14B modelis varētu piedāvāt mājas palīga automatizāciju ar zināmu saskaņotību, savukārt 1.5B versija mēdz izgudrot detaļas vai piedāvāt kaut ko tādu, kas nesakompilējas vai kam nav jēgas.

Tur, kur viņi sistemātiski cieš neveiksmi, ir vispārīgu zināšanu jautājumi, detalizēta faktu informācija vai uzdevumi, kuriem nepieciešams daudz kontekstaTurklāt humora izjūta un spēja uzturēt garas, dabiskas sarunas ir uzkrītoši trūkst pat relatīvi lielos modeļos, padarot tos par labāko izvēli lietošanai kā "virtuāliem draugiem".

Interesants piemērs ir lūgt viņiem Izveidojiet sarežģītu tīmekļa vietni, piemēram, galveno lapu kursa pārdošanai.Visi modeļi var izveidot funkcionālu HTML struktūru, taču, jo destilētāka un mazāka ir varianta daļa, jo vienkāršāka, neglītāka un saturiski nabadzīgāka kļūst ģenerētā vietne, pa ceļam zaudējot detaļas un nianses.

Īsāk sakot, mazie modeļi, kas uzbūvēti uz Raspberry Pi, ir ideāli piemēroti palīdzība ar ierobežotiem tehniskiem uzdevumiem, mājas automatizāciju, nelieliem izstrādes asistentiem vai vieglu datu klasifikācijuTaču tas nav paredzēts, lai aizstātu modernu mākoņpakalpojumu, ja jums ir nepieciešams daudzpusīgs universāls palīgs.

Raspberry Pi, mājas automatizācija un viegls mākslīgais intelekts

Viens no daudzsološākajiem mākslīgā intelekta pielietojumiem Raspberry Pi ierīcēs ir viedās mājas automatizācija ar viegliem modeļiemIdeja ir izmantot dēli kā lokālas smadzenes, kas interpretē komandas, savienojas ar sensoriem un izpildmehānismiem un pieņem vienkāršus lēmumus, neko nesūtot uz mākoņkrātuvi.

Piemēram, var izveidot sistēmu, kurā Par balss komandu izpratni ir atbildīgs neliels valodas modelis., ieskaitot pirmapstrādes darbības, piemēram, Notīriet mikrofona troksnipiemēram, “nolaidiet viesistabas žalūzijas, kad saule spīd tieši istabā” vai “ieslēdziet apkuri tikai tad, ja kāds ir mājās un temperatūra nokrītas zem noteikta sliekšņa”. Modelim nav jāzina, kas ir vēsturiska persona, vai jāraksta dzeja: tam tikai jāpārvērš lūgumi konkrētās darbībās.

Izmantojot šo pieeju, pat LLM ar 1.5B vai 3B parametriem var būt jēga. jo tā funkcija nav sniegt izcilas atbildes, bet gan dabisko valodu sasaistīt ar strukturētām komandāmJa tā ir īpaši apmācīta vai pielāgota šai jomai (mājas automatizācija, sensori, rutīnas), rezultāti var būt pārsteidzoši labi, ņemot vērā sistēmas vieglo svaru.

Šāda veida risinājums ļauj jums izveidot viedās mājas, kas daudz vairāk respektē privātumukur ne balss komandas, ne ierīču lietošanas modeļi neiziet ārpus lokālā tīkla. Turklāt, nepaļaujoties uz ārējiem pakalpojumiem, tas novērš visa darbības pārtraukšanu pakalpojumu sniedzēja API maiņas, servera darbības pārtraukuma vai pakalpojuma izslēgšanas dēļ.

Lai gan vēl daudz kas ir jāuzlabo un jāpārbauda, ​​apvienošanas potenciāls mazi modeļi ar mājas automatizācijas platformām, piemēram, Home Assistant vai savām sistēmām Šīs iespējas Raspberry Pi ir milzīgas, un viss liecina par to, ka mēs redzam arvien vairāk eksperimentu un reālu projektu šajā virzienā.

Raspberry Pi mākslīgā intelekta paātrinātāji: Hailo, AI HAT+ un citi moduļi

Lai pārvarētu Raspberry Pi centrālā procesora ierobežojumus, ir parādījušās jaunas tehnoloģijas. īpaši mākslīgā intelekta paātrinātāji, kas tieši integrējas ar platiTās mērķis ir apstrādāt neironu tīklus daudz ātrāk un efektīvāk nekā centrālais procesors vai dažos gadījumos parastais grafiskais procesors.

Salīdzinot ar vispārējas nozīmes procesoriem, šie paātrinātāji ir paredzēti, lai paralēli veikt mašīnmācībai raksturīgās matemātiskās darbībasTas samazina secinājumu laiku un arī enerģijas patēriņu, kas ir ļoti svarīgi iegultās ierīcēs vai situācijās, kad nav pieļaujams liels nepārtraukts enerģijas patēriņš.

Ļoti izplatīts piemērs ir a izmantošana. M.2 HAT+ karte, kas savienota ar Raspberry Pi 5 kopā ar M.2 2242 moduli, kurā integrēta Hailo-8L mikroshēmaŠāda veida komplektam ir pievienota īpaša neironu apstrādes vienība, kas paātrina redzes uzdevumus, objektu noteikšanu vai pat dažus ģeneratīvos modeļus, kas ir optimizēti tā arhitektūrai.

Hailo mikroshēma koncentrējas uz lai paralēli apstrādātu sarežģītas darbības ar augstu energoefektivitātiSalīdzinot ar risinājumiem, kuru pamatā ir CPU vai GPU, tas nozīmē mazāku siltuma izdalīšanos, samazinātas dzesēšanas prasības un uzlabotu akumulatora darbības laiku, kas ir būtiska priekšrocība rūpnieciskos projektos, robotikā un izkliedētos viedajos sensoros.

Pateicoties šiem moduļiem, Raspberry Pi var pāriet no vienkārša koordinatora uz kļūt par patiesi spējīgu secinājumu mezglu, darbinot sarežģītus neironu tīklus tieši tīkla malā, nepārslogojot plati un saglabājot ļoti zemu latentumu.

AI HAT+ 2 un lēciens uz lokālajām LLM programmām uz Raspberry Pi 5

Viens no iespaidīgākajiem atklājumiem šajā jomā ir Raspberry Pi AI HAT+ 2, paplašināšanas plate, kas paredzēta Raspberry Pi 5 kurā ir iekļauta Hailo-10H mikroshēma. Šis līdzprocesors piedāvā aptuveni 40 TOPS secinājumu veiktspēju, kas ir pietiekami, lai lokāli apstrādātu vieglus ģeneratīvos mākslīgā intelekta modeļus.

Ar šo aparatūru Raspberry Pi 5 var izpildīt relatīvi kompaktus valodas modeļus ar zemu latentumunepārslogojot galveno centrālo procesoru. Apstrāde tiek deleģēta Hailo-10H, kas apstrādā intensīvas darbības, kamēr plate pārvalda lietojumprogrammu loģiku, lietotāja ievadi un integrāciju ar citām sistēmām.

Oficiāli minētie saderīgie modeļi ietver DeepSeek-R1-Distill, Llama 3.2, Qwen2.5-Coder, Qwen2.5-Instruct un Qwen2Lielākajai daļai ir aptuveni 1.500 miljardi parametru, savukārt Llama 3.2 ir aptuveni 1.000 miljards, un visi tie ir izstrādāti, lai nodrošinātu saprātīgu līdzsvaru starp ietilpību un resursu patēriņu.

Publiskie izmēģinājumi liecina, ka šos modeļus var izmantot pamata tērzēšanas uzdevumi, teksta tulkošana, koda fragmentu ģenerēšana vai ainas apraksts Apvienojumā ar vizuālo ievadi latentums ir zems, un lietotāja pieredze ir daudz tuvāka tam, ko cilvēki sagaida no mūsdienu interaktīvā mākslīgā intelekta.

Tomēr ir svarīgi skaidri saprast, ka AI HAT+ 2 neļauj lokāli palaist masīvus modeļus, piemēram, ChatGPT, Claude vai lielākus Meta LLM.Šīm sistēmām ir simtiem miljardu vai triljonu parametru, kas ir krietni vairāk nekā šāda veida kopprocesors Raspberry Pi 5 spēj saprātīgi apstrādāt.

AI HAT+ 2 lielā pievilcība ir tā, ka par cenu aptuveni 130 ASV dolāru, Tas ļauj pārvērst Raspberry Pi 5 par ļoti spējīgu mazu lokālu mākslīgā intelekta staciju.Tas piedāvā piekļuvi Hailo piemēru un ietvaru krātuvei, kas paredzēti gan datorredzei, gan ģeneratīvajam mākslīgajam intelektam. Tas ir svarīgs rīks tiem, kas vēlas pārsniegt tikai simboliskus modeļus un patiesi eksperimentēt ar moderniem neironu tīkliem perifērijā.

Ainava, kas veidojas ap mākslīgo intelektu Raspberry Pi ierīcēs, ir diezgan spēcīga: starp mākonī balstītiem aģentiem, viegliem lokāliem modeļiem, īpašiem paātrinātājiem un jaunām platformām, piemēram, AI HAT+ 2Mazā tāfele ir kļuvusi par ideālu laboratoriju, lai izpētītu, kā izkliedētais mākslīgais intelekts izskatīsies ikdienas ierīcēs, ja vien tiek ņemti vērā jaudas ierobežojumi un projekti tiek izstrādāti pārdomāti.