Raspberry Pi üzerinde yapay zeka: modeller, ajanlar ve hızlandırıcılar

Raspberry Pi üzerindeki yapay zeka oldukça özel bir dönem yaşıyor. Yakın zamana kadar, yapay zeka dediğimizde ya abonelik gerektiren büyük bir bulut tabanlı sohbet robotunu ya da devasa modelleri yerel olarak çalıştırmak için GPU'larla dolu son derece pahalı bir bilgisayarı hayal ederdik. Şimdi ise durum değişti: OpenClaw gibi ajanların, DeepSeek gibi damıtılmış modellerin ve AI HAT+ 2 gibi yeni hızlandırıcıların ortaya çıkışı, bu küçük kartı tartışmanın merkezine yerleştirdi.

Bu değişim sadece geçici bir moda değil: Raspberry Pi 5, hafif modeller ve özel yapay zeka donanımının birleşimi, buluta bağımlı kalmadan sohbet botları, çevirmenler, kod yardımcıları veya bilgisayar görüş sistemleri çalıştırmanıza olanak tanıyor. Tüm bunlar, güvenlik, maliyet ve veri gizliliği üzerinde daha fazla kontrol sağlarken, hayal kırıklığı yaşamamak için anlaşılması gereken açık sınırlamaları da beraberinde getiriyor.

Yapay zekâ ajanlarının yükselişi ve Raspberry Pi'nin rolü

Son aylarda, bağımsız hareket edebilen yapay zekâ ajanları hakkında çok konuşuldu ve en çok ilgi çeken isimlerden biri de OpenClaw oldu. Sadece mesajlara yanıt veren klasik bir sohbet robotunun aksine, bir ajan karar verebilen ve eylemler gerçekleştirebilen bir sistemdir: komut dosyaları başlatabilir, API'leri çağırabilir, harici hizmetlerle etkileşim kurabilir veya belirli bir bilgi işlem ortamında dosyaları işleyebilir.

İlginç olan şu ki, bu tür ajanların "beyninin" Raspberry Pi'nin kendisinde olmasına gerek yok . Genellikle, daha büyük model bulutta çalışırken, kart bir orkestratör görevi görüyor: iletişimi sürdürüyor, kullanıcı bağlamını yönetiyor, sisteme komutlar veriyor ve fiziksel dünya (sensörler, aktüatörler, ev otomasyonu) ile uzaktan yapay zeka arasındaki boşluğu kapatıyor.

Aynı zamanda, daha küçük LLM'leri doğrudan Raspberry Pi donanımında çalıştırmak için tasarlanmış yapılandırmalar da ortaya çıkmaya başladı . Ollama veya llama.cpp gibi araçlar, özellikle yeterli RAM'e sahip Raspberry Pi 4 veya 5 gibi modellerde, ARM mimarisine uyarlanmış azaltılmış LLM'lerin yüklenmesine olanak tanır. Bu sihir değil: bazı yetenekler ve hız feda ediliyor, ancak belirli kullanımlar için sonuç mükemmel derecede kullanılabilir.

Bu yeni senaryo, erişilebilir yapay zeka ajanlarına duyulan coşkuyla bağlantılı olarak Raspberry Pi'nin hisse senedi fiyatında kayda değer artışlarla birlikte, finans piyasasında da hareketliliğe yol açtı . Nihayetinde, büyük veri merkezlerine veya yüksek performanslı masaüstü bilgisayarlara tamamen bağımlı kalmak yerine, yapay zekayı çalıştırmak veya koordine etmek için özel olarak tasarlanmış küçük fiziksel cihazlar fikri yaygınlaşıyor.

Güvenlik, izolasyon ve yaklaşıma dair şüpheler

Bir yapay zekâ ajanına bir sisteme derinlemesine erişim izni vermek şaka değil: Geniş yetkilere sahip bir ajan dosyaları okuyabilir, verileri taşıyabilir, web formlarını doldurabilir veya kritik hizmetlere erişebilir . Raspberry Pi ekosistemi de bunun gerçek riskler içerdiğini vurguluyor, çünkü bu algoritmalar hatasız değildir ve hata yapabilir veya beklenmedik şekilde davranabilir; bu nedenle, iyi siber güvenlik uygulamalarına uymak çok önemlidir.

İşte bu noktada kartın en büyük avantajlarından biri devreye giriyor: Raspberry Pi'yi izole bir ortam olarak kullanmak, olası arızaların etkisini azaltıyor . Ana bilgisayarınıza doğrudan kontrol vermek yerine, ajanın yalnızca kesinlikle gerekli kaynaklara erişebildiği özel bir sistem kurabilirsiniz. Bu fiziksel "kum havuzu", hasarı sınırlamaya yardımcı olur ve daha büyük bir gönül rahatlığıyla deney yapmanıza olanak tanır.

Herkes bu yaklaşımın her derde deva olduğuna ikna olmuş değil. Uzmanlaşmış medya kuruluşları, özellikle çok fazla RAM'e sahip gelişmiş konfigürasyonlarda, Raspberry Pi'nin ultra ucuz bir seçenek olma özelliğinin cazibesinin bir kısmını kaybettiğine dikkat çekti . 16 GB RAM'e sahip bir Raspberry Pi 5 modeli 200 dolara yaklaşabiliyor veya bu fiyatı aşabiliyor; bu da bazıları için herkes için düşük maliyetli bir bilgisayar fikrini baltalıyor.

Bu bağlamda, bazı şüpheciler, OpenClaw gibi karmaşık yapay zekâ ajanları için temel olarak Raspberry Pi kullanmanın, bütçeniz kısıtlıysa ideal çözüm olmayabileceğini savunuyor. Kartın, belleğin ve yapay zekâ hızlandırıcılarının maliyeti göz önüne alındığında, nihai fiyat hızla artabilir ve daha güçlü veya esnek alternatiflerden daha pahalı hale gelebilir.

Bununla birlikte, risk izolasyonu ile özel cihaz yaklaşımı oldukça cazip olmaya devam ediyor: güvenliğe, gizliliğe ve kontrollü deneylere değer verenler, Raspberry Pi'de kritik çalışma makinelerini tehlikeye atmadan ajanları ve modelleri test etmek için mükemmel bir "laboratuvar" buluyorlar.

Yerel yapay zeka modelleri için bir platform olarak Raspberry Pi 5

Ajan tabanlı yeteneklerinin ötesinde, Raspberry Pi 5 inanılmaz derecede çok yönlü bir araç olarak kendini kanıtladı . Robotik, elektronik, ev otomasyonu ve multimedya için harika olmaya devam ediyor, ancak mevcut donanımı, gerçek dünya, yerel yapay zeka projeleri için bir temel olarak kullanılmasını sağlayarak bir adım daha ileri gitmesine olanak tanıyor.

Daha hızlı işlemcisi, GPU iyileştirmeleri ve bol miktarda RAM ile yapılandırma oluşturma yeteneği sayesinde Raspberry Pi 5, hafif yapay zeka modellerini makul ölçüde işleyebilir . Bir sunucu dolusu GPU'nun yerini alamaz, ancak bilgisayar görüşü, konuşma tanıma, kompakt dil modelleri veya çok özel görevler için özel asistanlar ile denemeler yapmanıza olanak tanır.

Yaygın bir strateji, sınırlı donanım için optimize edilmiş açık kaynaklı modelleri tercih etmektir . Sıklıkla kullanılan örnekler arasında Mistral 7B, Orca'nın bazı küçük varyantları veya Microsoft Phi-2 gibi kompakt modeller bulunur; bunların uyarlanmış ve her şeyden önemlisi, belleğe sığacak şekilde nicelleştirme veya damıtma teknikleri kullanılarak küçültülmüş sürümlerinin mevcut olması gerekir.

Şunu anlamak önemlidir ki, bu daha küçük LLM'ler GPT-4 gibi devlerle aynı ligde rekabet edemezler . Özellikle çok genel veya karmaşık konularda derinlik, bağlam ve yanıt verme yeteneğinden yoksundurlar. Buna karşılık, kabul edilebilir gecikme süresi, daha düşük güç tüketimi ve harici bağlantılara bağımlı olmama avantajı sunarlar; bu da tüm işlemenin kartın kendisinde gerçekleşmesini istediğinizde önemli bir faktördür.

Bu kombinasyon, Raspberry Pi 5'i, aşırı teknik bilgi veya büyük yatırımlar gerektirmeyen yapay zeka çözümlerini öğrenmek, prototiplemek ve dağıtmak için ideal bir tür "deneme alanı" haline getiriyor; yeter ki bu basitleştirilmiş modellerden neyin beklenebileceği ve neyin beklenemeyeceği çok açık olsun.

Raspberry Pi 5 üzerinde yapay zekayı çalıştırmak için temel adımlar

Raspberry Pi 5 üzerinde yerel olarak yapay zeka çalıştıran bir proje kurmak için birkaç genel adımı izlemek faydalı olacaktır. Bu katı bir tarif değil, daha ziyade denemeye başladığınızda karşılaşacağınız şeylere dair zihinsel bir rehberdir.

İlk adım, ARM mimarisi ve anakartın kaynaklarıyla uyumlu bir model seçmektir . Bu, yukarıda bahsedilen Mistral 7B gibi yüksek oranda sıkıştırılmış sürümleri, bazı daha küçük Orca veya küçültülmüş Phi-2 çipleri ve mütevazı cihazlarda çalışmak üzere tasarlanmış 1B ila 7B parametrelerine sahip diğer LLM çiplerini içerir. Model ne kadar küçükse, kurulumu o kadar kolay olur, ancak yetenekleri de o kadar sınırlı olur.

Sonraki adım , sinir ağlarıyla çalışmak için gerekli destek yazılımlarının kurulumudur . İhtiyaçlarınıza bağlı olarak, bilgisayar görüşü projeleri için TensorFlow Lite, belirli depoları kullanacaksanız PyTorch veya harici hızlandırıcılar kullanacaksanız Edge TPU gibi özel çalışma ortamları kullanabilirsiniz. LLM projeleri için ise llama.cpp veya Ollama gibi araçlar işleri çok daha kolaylaştırır.

Yazılımı edindikten sonra, Raspberry Pi üzerinde çalışma ortamını yapılandırmanın zamanı gelir . Bu, sistem seçeneklerini ayarlamayı, ek bağımlılıkları yüklemeyi, modelin ARM için optimize edildiğinden emin olmayı ve genellikle performans ve bellek tüketimini dengelemek için bağlam boyutu, niceleme düzeyi veya iş parçacığı sayısı gibi parametrelerle oynamayı içerir.

Her şey hazır olduğunda, modeli çalıştırabilir ve çıkarımlar yapmaya başlayabilirsiniz . Bu aşamada donanım ve yazılım kombinasyonunun bunu kaldırıp kaldıramayacağını göreceksiniz. Veri yüklemeniz, sorgular göndermeniz, gecikmeyi kontrol etmeniz ve yanıt kalitesinin beklentilerinize ne kadar uyduğunu görmeniz gerekecek. Sistem sorunsuz çalışana kadar sayısız ayrıntıyı ince ayar yapmak yaygın bir durumdur. Disk analizi ve temizleme araçlarını kullanarak disk alanınızı kontrol etmeniz önerilir.

Performans yetersiz kalırsa, işlemciden iş yükünü azaltmak için harici bir hızlandırıcı ekleme seçeneğiniz vardır . Edge TPU'lu USB Coral veya Hailo çiplerine dayalı yeni kartlar gibi cihazlar, sinir ağlarının çok daha hızlı ve daha düşük güç tüketimiyle çalışmasını sağlayarak birçok durumda deneyimi tamamen değiştirir.

Gizlilik, güvenlik ve her şeyi yerel olarak işlemenin avantajları

Raspberry Pi üzerinde yapay zeka kullanmanın en güçlü argümanlarından biri, verileri ağınız içinde tutabilme yeteneğidir . Bir modeli yerel olarak çalıştırdığınızda, kişisel veya hassas bilgileri üçüncü taraf bir sunucuya göndermezsiniz; bu, özellikle profesyonel, eğitimsel veya gelişmiş ev otomasyonu ortamlarında önemlidir. Ayrıca, kopyalarınız için şifrelenmiş yedekleme teknikleri kullanmanız da tavsiye edilir .

Bu, işlediğiniz verilere kimlerin erişebileceği konusunda çok daha fazla kontrol sahibi olduğunuz anlamına gelir . Yerel asistanınız dahili belgeleri analiz ediyorsa, güvenlik kameralarını izliyorsa veya evinizin kullanım kayıtlarını yönetiyorsa, bunların hepsi sizin altyapınız içinde kalır. Değişen gizlilik politikalarına veya harici hizmetlerdeki olası ihlallere bağımlı değilsiniz.

Aynı zamanda, Raspberry Pi, yapay zeka deneyleriniz için neredeyse bir "fiziksel güvenlik duvarı" görevi görüyor . Ana ağınızdan ayrı bir sistem kurabilir, erişimini belirli kaynaklarla sınırlayabilir ve modelin garip hatalar yapması veya ajanın çok yaratıcı olması durumunda bile potansiyel zararın kontrol altında tutulmasını sağlayabilirsiniz.

Elbette, bu durum izinlerin, kullanıcıların ve ağ kurallarının düzgün şekilde yapılandırılması ihtiyacını ortadan kaldırmaz . Güvenliği yetersiz bir Raspberry Pi üzerinde çok fazla yetkiye sahip bir ajan yine de sorun yaratabilir. Fark şu ki, özel ve ucuz bir ortam olduğu için, bir sorun çıktığında denetlemek, sıfırdan yeniden kurmak veya hatta fiziksel olarak bağlantıyı kesmek çok daha kolaydır.

Özetle, veri korumasına ve tüm bilgi akışını denetleme yeteneğine değer verenler için, Raspberry Pi'yi yerel bir yapay zeka düğümü olarak kullanmak , her şeyin kuruluşunuzun veya evinizin dışından yönetilen bulut hizmetlerine bağlı olduğu durumlarda elde edilmesi zor olan bir gönül rahatlığı sunar .

DeepSeek ve mütevazı donanımlarda büyük modeller çalıştırmanın gerçekliği

Ortamı alt üst eden bir diğer isim ise DeepSeek, özellikle de mantıksal çıkarım için tasarlanmış ve oldukça iddialı bir yaklaşıma sahip DeepSeek R1 modeli . Birçok haberde, en gelişmiş ticari modellerin bazılarından daha iyi performans gösterdiği ve yerel olarak çalıştırılabildiği vurgulanarak, herhangi bir makinede "ev yapımı bir ChatGPT" fikrinin ortaya çıkması sağlandı.

Şöyle bir örnek verelim: DeepSeek R1 671B'nin tam sürümü 400 GB'ın üzerinde bir canavar ve sorunsuz çalışması için birkaç çok yüksek performanslı GPU gerektiriyor. Bu, büyük OpenAI modelleri veya benzerleriyle gerçekten rekabet eden bir varyant ve bir Raspberry Pi veya standart bir PC için tamamen erişilemez durumda.

Diğer kapalı sistem sağlayıcılarına kıyasla en büyük fark, donanıma sahipseniz modeli indirip, Ollama gibi araçlarla bir araya getirip evde çalıştırabilmenizdir . Çoğu durumda, dosyaları depolamak için harici bir sabit sürücü bağlamanız gerekecektir . Ancak burada birkaç bin avroya mal olan, RTX 4090, A100 veya eşdeğer veri merkezi bileşenleri gibi ekran kartlarına sahip konfigürasyonlardan bahsediyoruz; düşük güç tüketimli bir mikrobilgisayardan çok farklı.

Ortalama bir kişinin Raspberry Pi gibi standart makinelerde veya cihazlarda DeepSeek ile çalışabilmesi için, damıtılmış ve azaltılmış sürümler kullanılır . Bunlar esasen, işlem gücü ve bilgi pahasına bazı işlevlerini koruyan orijinal sürümün sıkıştırılmış versiyonlarıdır. İşte burada 14B, 7B veya hatta 1.5B parametreli varyantlar devreye giriyor.

Asıl soru, süreç boyunca ne kadar bilginin kaybedildiği. Model boyutu, bellek ve yanıt kalitesi arasındaki ilişki oldukça açık : Eğer referans model 400 GB'ın üzerindeyse ve Wikipedia zaten yaklaşık 100 GB yer kaplıyorsa, 1 GB'ın biraz üzerinde bir sürümün tüm bu bilgiyi ayrıntılı olarak sunmasını beklemek gerçekçi değil.

DeepSeek'in farklı cihazlarda gerçek dünya testleri

Bu farklılıkları pratikte görmek için, farklı DeepSeek varyantlarının çeşitli donanımlardaki davranışlarını karşılaştırmak faydalı olacaktır. 12 GB VRAM'e sahip bir RTX 3060 GPU'lu bir iş istasyonunda, 14 bit parametreli sürüm oldukça iyi çalışabilir ve hatta 32 bit sürüm bile sistem RAM'i kullanılarak çalıştırılabilir, ancak hızlar belirgin şekilde düşer.

DeepSeek'in bulut sürümünü, yerel donanım sınırlamaları olmadan denerseniz , tam teşekküllü model sorunsuz çalışır ve sektör devleriyle neden rekabet ettiğini açıkça gösterir. Fark, hem yanıtların hızı ve tutarlılığında hem de karmaşık komutları işleme yeteneğinde belirgindir.

8 GB RAM'e sahip bir Raspberry Pi'yi ele aldığınızda durum dramatik bir şekilde değişiyor . Bu durumda, işlevsel olarak çalıştırılabilen en büyük model 7 GB parametreli sürümdür ve hatta bu durumda bile hız saniyede yaklaşık 1 token civarındadır. Bu da sorunsuz bir iletişimi sürdürmeyi neredeyse dayanılmaz hale getiriyor.

Yanıtların kalitesini değerlendirirken, fark daha da belirginleşiyor. Popüler bir dizideki tanınmış bir karakterin kim olduğu gibi basit bir genel kültür sorusuyla karşı karşıya kalındığında, 14B modeli doğru yanıt verirken, 7B modeli garip yanıtlar vermeye başlıyor . 1.5B modeli ise tamamen uydurma, sağlam bir temeli olmayan sonuçlar üretiyor.

Bu durum daha genel sorgularla da tekrarlanır: küçük varyasyonlar genellikle garip, eksik veya açıkça hatalı yanıtlar üretir . Bu mantıklıdır: modelin boyutunu önemli ölçüde azaltarak, temsil kapasitesi ve dünyaya dair örtük "hafızası" önemli ölçüde kısıtlanır, bu nedenle en üst düzey bir model gibi davranması beklenemez.

Raspberry Pi'deki damıtılmış modeller aslında ne için kullanılıyor?

Bu sınırlamalara rağmen, sadeleştirilmiş ve kompakt modeller Raspberry Pi gibi cihazlarda çok ilginç kullanım alanlarına sahiptir. Bunlar, büyük, genel amaçlı sohbet robotlarının yerini almak için değil , yaratıcılığın ve ansiklopedik bilginin birincil odak noktası olmadığı, iyi tanımlanmış görevleri çözmek için tasarlanmıştır.

Bu modellerin oldukça iyi çalıştığı alanlardan biri de temel matematiksel destek ve kod incelemesidir . Komut dosyalarındaki basit hataları tespit etmek, küçük fonksiyonlar önermek veya Python kod parçacıklarına iyileştirmeler önermek için, 7B veya 14B modeli, son derece spesifik veya karmaşık bir şey istenmediği sürece genellikle faydalı cevaplar sağlar.

Bunlar ayrıca ev otomasyonu, otomasyon sistemleri veya küçük projeler için kullanılan kod parçacıklarını oluşturmak ve düzeltmek için de çok faydalı olabilir . Örneğin, 14B modeli belirli bir tutarlılık derecesine sahip bir Home Assistant otomasyon çözümü önerebilirken, 1.5B sürümü derlenmeyen veya mantıklı olmayan parçalar icat etme veya bir şeyler sunma eğiliminde olacaktır.

Genel kültür sorularında, ayrıntılı olgusal bilgilerde veya önemli bağlam gerektiren görevlerde sürekli olarak yetersiz kalıyorlar . Dahası, nispeten büyük modellerde bile mizah anlayışı ve uzun, doğal sohbetleri sürdürme yeteneği belirgin bir şekilde eksik olduğundan, "sanal arkadaş" olarak ideal olmaktan uzaklar.

İlginç bir örnek olarak, onlardan bir kurs satmak için bir açılış sayfası gibi karmaşık bir web sayfası oluşturmalarını istemek verilebilir . Tüm modeller işlevsel bir HTML yapısı üretebilir, ancak varyant ne kadar sade ve küçük olursa, oluşturulan web sitesi o kadar basit, çirkin ve içerik açısından fakir olur ve bu süreçte ayrıntıları ve incelikleri kaybeder.

Özetle, Raspberry Pi üzerine kurulu küçük modeller, sınırlı teknik görevlere, ev otomasyonuna, küçük geliştirme yardımcılarına veya hafif veri sınıflandırmasına yardımcı olmak için idealdir , ancak genel amaçlı, çok yönlü bir yardımcıya ihtiyaç duyduğunuzda son teknoloji ürünü bir bulut hizmetinin yerini almak için uygun değildir.

Raspberry Pi, ev otomasyonu ve hafif yapay zeka

Raspberry Pi üzerinde yapay zekanın en umut vadeden uygulamalarından biri, hafif modellerle akıllı ev otomasyonudur . Buradaki fikir, kartı komutları yorumlayan, sensörler ve aktüatörlerle bağlantı kuran ve buluta herhangi bir şey göndermeye gerek kalmadan basit kararlar alan yerel bir beyin olarak kullanmaktır.

Örneğin, mikrofon gürültüsünü azaltma gibi ön işleme adımları da dahil olmak üzere sesli komutları anlayabilen küçük bir dil modelinin yer aldığı bir sistem kurulabilir ; bu komutlar arasında "güneş doğrudan odaya vurduğunda oturma odasının perdelerini indir" veya "ısıtmayı yalnızca evde biri varsa ve sıcaklık belirli bir eşiğin altına düşerse aç" gibi komutlar yer alabilir. Modelin tarihi bir şahsiyetin kim olduğunu bilmesine veya şiir yazmasına gerek yoktur; yalnızca istekleri somut eylemlere çevirmesi yeterlidir.

Bu yaklaşımla, 1.5 milyar veya 3 milyar parametreli bir LLM bile anlamlı olabilir, çünkü işlevi mükemmel cevaplar vermek değil, doğal dili yapılandırılmış komutlara eşlemektir . Eğer özellikle o alan için (ev otomasyonu, sensörler, rutinler) eğitilmiş veya ayarlanmışsa, sistemin ne kadar hafif olduğu göz önüne alındığında sonuçlar şaşırtıcı derecede iyi olabilir.

Bu tür bir çözüm, sesli komutların veya cihaz kullanım kalıplarının yerel ağdan dışarı çıkmadığı, gizlilik konusunda çok daha hassas akıllı evlerin oluşturulmasına olanak tanır . Dahası, harici hizmetlere bağımlı olmaması, bir sağlayıcının API'sini değiştirmesi, bir sunucunun çökmesi veya bir hizmetin kapanması nedeniyle her şeyin çalışmayı durdurmasını önler.

Henüz üzerinde çalışılması ve test edilmesi gereken birçok nokta olsa da, küçük modelleri Home Assistant gibi ev otomasyon platformlarıyla veya Raspberry Pi üzerindeki özel sistemlerle birleştirmenin potansiyeli çok büyük ve her şey bu doğrultuda daha fazla deney ve gerçek proje göreceğimize işaret ediyor.

Raspberry Pi için yapay zeka hızlandırıcıları: Hailo, AI HAT+ ve diğer modüller

Raspberry Pi'nin işlemcisinin sınırlamalarının üstesinden gelmek için, doğrudan kartla entegre olan özel yapay zeka hızlandırıcıları ortaya çıktı . Amaçları, sinir ağlarını işlemciden veya bazı durumlarda geleneksel bir GPU'dan çok daha hızlı ve verimli bir şekilde işlemektir.

Genel amaçlı işlemcilerin aksine, bu hızlandırıcılar makine öğreniminde tipik olan matematiksel işlemleri paralel olarak çalıştırmak üzere tasarlanmıştır . Bu, çıkarım süresini ve enerji tüketimini azaltır; bu da gömülü cihazlarda veya yüksek sürekli güç tüketiminin kabul edilemez olduğu durumlarda çok önemlidir.

Yaygın bir örnek , Raspberry Pi 5'e bağlı bir M.2 HAT+ kartının ve Hailo-8L çipini entegre eden bir M.2 2242 modülünün kullanılmasıdır . Bu tür bir kit, görme görevlerini, nesne algılamayı ve hatta mimarisi için optimize edilmiş bazı üretken modelleri hızlandıran özel bir sinirsel işlem birimi ekler.

Hailo çipi, karmaşık işlemleri yüksek enerji verimliliğiyle paralel olarak işlemeye odaklanmaktadır . CPU veya GPU tabanlı çözümlere kıyasla bu, daha az ısı, daha düşük soğutma gereksinimleri ve daha uzun pil ömrü anlamına gelir; bu da endüstriyel projelerde, robotikte ve dağıtılmış akıllı sensörlerde önemli bir avantajdır.

Bu modüller sayesinde Raspberry Pi, basit bir koordinatör olmaktan çıkıp , karmaşık sinir ağlarını doğrudan ağın ucunda, kartı aşırı yüklemeden ve çok düşük gecikme süresiyle çalıştırabilen, gerçekten yetenekli bir çıkarım düğümü haline gelebilir.

AI HAT+ 2 ve Raspberry Pi 5'te yerel LLM'lere geçiş

Bu alandaki en dikkat çekici ürünlerden biri, Hailo-10H çipini içeren ve Raspberry Pi 5 için tasarlanmış bir genişletme kartı olan Raspberry Pi AI HAT+ 2'dir . Bu yardımcı işlemci, yerel olarak hafif üretken yapay zeka modellerini işlemek için yeterli olan yaklaşık 40 TOPS'luk bir çıkarım performansı sunmaktadır.

Bu donanım sayesinde Raspberry Pi 5, ana işlemciyi aşırı yüklemeden, nispeten kompakt dil modellerini düşük gecikmeyle çalıştırabilir . İşlem gücü Hailo-10H'ye devredilir; bu sayede yoğun işlemler gerçekleştirilirken, kart uygulama mantığını, kullanıcı girişini ve diğer sistemlerle entegrasyonu yönetir.

Resmi olarak belirtilen uyumlu modeller arasında DeepSeek-R1-Distill, Llama 3.2, Qwen2.5-Coder, Qwen2.5-Instruct ve Qwen2 yer almaktadır . Çoğu yaklaşık 1.500 milyar parametreye sahipken, Llama 3.2 yaklaşık 1.000 milyar parametreye sahiptir ve tümü kapasite ile kaynak tüketimi arasında makul bir denge sunacak şekilde tasarlanmıştır.

Yapılan kamuya açık testler, bu modellerin görsel girdiyle birleştirildiğinde temel sohbet görevleri, metin çevirisi, kod parçacığı oluşturma veya sahne tanımlama gibi işlevler için kullanılabileceğini göstermektedir . Gecikme süresi düşüktür ve kullanıcı deneyimi, insanların modern etkileşimli yapay zekadan beklediği şeye çok daha yakındır.

Ancak, AI HAT+ 2'nin ChatGPT, Claude veya en büyük Meta LLM'ler gibi devasa modelleri yerel olarak çalıştırmanıza izin vermediğini anlamak önemlidir . Bu sistemler, Raspberry Pi 5'teki bu tür bir yardımcı işlemcinin makul bir şekilde işleyebileceğinin çok ötesinde, yüz milyarlarca veya trilyonlarca parametreye sahiptir.

AI ​​HAT+ 2'nin en büyük çekiciliği, yaklaşık 130 dolara, bir Raspberry Pi 5'i, hem bilgisayar görüşü hem de üretken yapay zekaya yönelik Hailo örnekleri ve çerçevelerinden oluşan bir depoya erişim sağlayan, küçük ve son derece yetenekli bir yerel yapay zeka iş istasyonuna dönüştürmenize olanak tanımasıdır . Sadece sembolik modellerin ötesine geçmek ve modern sinir ağlarıyla uç noktalarda gerçekten deney yapmak isteyenler için önemli bir araçtır.

Raspberry Pi üzerinde yapay zekâ etrafında ortaya çıkan ortam oldukça güçlü: bulut kullanan ajanlar, hafif yerel modeller, özel hızlandırıcılar ve AI HAT+ 2 gibi yeni kartlar sayesinde , bu küçük kart, güç sınırlamaları dikkate alındığı ve projeler özenle tasarlandığı takdirde, dağıtılmış yapay zekânın günlük cihazlarda nasıl olacağını keşfetmek için ideal bir laboratuvar haline geldi.