Agents d'intel·ligència artificial local a ESP32: guia completa

La irrupció de la intel·ligència artificial executada directament sobre microcontroladors està canviant completament la forma de dissenyar projectes IoT, domòtica i robòtica de baix cost. On abans tot passava pel núvol, ara és perfectament viable que un petit ESP32 prengui decisions, parli, escolti i controli maquinari gairebé sense dependre de servidors externs.

En aquest context han aparegut propostes com ESP-Claw i PycoClaw, arquitectures d'agents d'IA locals o híbrids sobre ESP32 , juntament amb projectes reals d'assistents de veu i personatges conversacionals, fins i tot un assistent d'IA que cap en un xip , que demostren que, amb una mica d'enginy, un microcontrolador de menys de xarxa.

Del cloud a la vora: per què té sentit la IA local a ESP32

La tendència del sector va molt clara: cada cop més intel·ligència es desplaça des dels centres de dades cap a la vora, on els dispositius han d' actuar en temps real, amb baixa latència i més privadesa . L'ESP32, amb la combinació de WiFi, Bluetooth, doble nucli i consum contingut, s'ha convertit en un candidat ideal per allotjar aquesta capa d'IA lleugera.

En lloc de dependre constantment de trucades a API remotes, frameworks com ESP-Claw i PycoClaw aposten per agents que corren directament sobre el microcontrolador , prenent decisions en funció de dades de sensors, entrades d'usuari o missatges rebuts per xarxa. No volen competir amb grans models generatius, sinó oferir intel·ligència pràctica i específica en dispositius amb recursos molt ajustats.

Aquest enfocament porta diversos avantatges clars: una reducció dràstica de latència (parlem de mil·lisegons en comptes de centenars de mil·lisegons), menor consum energètic en evitar transmissions contínues i una millora notable en privadesa, ja que bona part del processament es manté al propi dispositiu. En aplicacions de domòtica, indústria lleugera o wearables, aquest canvi de paradigma marca la diferència entre un sistema maldestre i un veritablement interactiu.

Òbviament, hi ha limitacions físiques: un ESP32 típic ofereix uns 520 KB de SRAM i uns pocs megabytes de flash , molt lluny del que requereix un model de llenguatge gran o una xarxa de visió complexa. Per això es recorre a tècniques com quantització a 8 bits, compressió agressiva de models, reducció de paràmetres i execució incremental, sacrificant part de la precisió a canvi que tot càpiga al xip.

La conseqüència és que els agents que viuen a l'ESP32 són especialistes: detecten patrons senzills, classifiquen estats, disparen accions concretes i coordinen sensors i actuadors, però es recolzen al núvol només quan necessiten raonament pesant, transcripció avançada o síntesi de veu d'alta qualitat.

ESP-Claw: capa d'agents lleugers directament al microcontrolador

ESP-Claw es planteja com un framework de programari per construir agents d'IA en dispositius basats en ESP32 . En lloc d'enviar les dades crues a un servidor central, el mateix microcontrolador executa el model reduït i aplica una lògica de decisió local, cosa que li permet funcionar fins i tot amb connectivitat intermitent.

L'arquitectura d'ESP-Claw s'organitza en mòduls: un motor d'inferència optimitzat per a petits models , un sistema per gestionar diversos agents i una capa d'integració amb sensors i actuadors (GPIO, busos I2C o SPI, relés, motors, pantalles senzilles, etc.). Cada agent es defineix com una entitat que rep entrades, passa per un model i genera sortides que solen materialitzar-se en accions físiques o missatges.

Gràcies a la quantització i altres tècniques d'optimització, ESP-Claw pot treballar amb models de menys d'1 MB allotjats a la flaix de l'ESP32 , normalment xarxes neuronals comprimides o classificadors entrenats per a tasques concretes. En molts casos es reporten precisions superiors al 80-85% per a classificació bàsica, més que suficient per a detecció d'esdeveniments, reconeixement de patrons senzills o interpretació de comandes acotades.

En termes de rendiment, la diferència davant d'una trucada al núvol és enorme: operacions locals es poden resoldre per sota dels 10 ms en tasques simples, davant dels 100-500 ms típics d'una API remota subjecta a la qualitat de la xarxa. Aquesta millora és crítica en automatització industrial, domòtica sensible alhora o sistemes de seguretat que no es poden permetre el luxe d'esperar.

Un altre punt fort és la connectivitat flexible. Tot i que l'èmfasi està en l'execució local, ESP-Claw es pot comunicar per WiFi o Bluetooth amb servidors externs per enviar mètriques, registrar dades històriques o rebre noves versions de models. D'aquesta manera, l'agent manté la seva autonomia, però no perd la capacitat de millorar amb el temps o d'integrar-se a plataformes de gestió superiors.

El paper de l'ESP32 com a plataforma d'IA embeguda

L'ESP32 fa anys que és el microcontrolador de referència per a projectes maker i solucions professionals de baix cost, però amb frameworks d'aquest tipus passa de ser “només” un node connectat a convertir-se en un node intel·ligent . Les seves característiques tècniques el col·loquen en un punt intermedi molt interessant entre plaques ultra senzilles i sistemes Linux complets.

A nivell de maquinari, la família ESP32 ofereix CPU dual-core fins a 240 MHz, connectivitat WiFi i Bluetooth integrada , i en alguns models acceleradors simples per a operacions matemàtiques. Combinat amb modes de baix consum i corrents típics entre 80 i 260 mA en actiu, és viable dissenyar dispositius alimentats per bateria que incorporin agents IA sempre desperts o semi-desperts.

El cost és una altra carta fonamental: moltes plaques amb ESP32 es poden trobar per menys de 10 euros, i fins i tot per sota de 5 dòlars segons el format . Això fa possible desplegar flotes de sensors i actuadors intel·ligents sense que el pressupost es dispari, cosa clau en agricultura de precisió, monitorització distribuïda o automatització en entorns amb recursos limitats.

Des del punt de vista del desenvolupament, frameworks com ESP-Claw eviten que l'enginyer hagi de reinventar la roda quant a inferència, gestió d'agents o optimització de models . En lloc d'escriure-ho tot a mà a C, l'equip es pot centrar en el comportament del dispositiu, les regles de negoci i la integració amb la resta de sistemes.

Cal no oblidar que l'ESP32 no va néixer com a xip d'IA, així que la seva potència de càlcul és modesta comparada amb solucions específiques d'edge AI. Tot i així, l'equilibri entre capacitat, consum i preu el converteix en un terreny ideal per experimentar amb agents lleugers i per portar a producció casos d'ús molt concrets sense necessitat de maquinari especialitzat.

PycoClaw i OpenClaw: agents “seriosos” en un microcontrolador barat

Mentre que ESP-Claw se centra en la inferència local compacta, PycoClaw fa un pas més en portar l'arquitectura d'agents OpenClaw a un ESP32 usant MicroPython . La idea és tenir en maquinari de 5 dòlars la mateixa lògica dagents que abans vivia només en servidors robustos.

OpenClaw es basa en una arquitectura tipus hub-and-spoke molt pensada per a producció. Disposa d'un gateway central que actua com a pla de control , rebent missatges des de diferents canals (WhatsApp, Telegram, Discord, etc.) i enrutant-los cap a l'agent corresponent, juntament amb un Agent Runtime encarregat d'acoblar el context, trucar al model (Claude, GPT, Gemini o LLM locals), executar.

Cada agent té el seu propi espai de treball aïllat, amb fitxers de configuració en text pla com AGENTS.md, SOUL.md o USER.md , on es defineix la seva personalitat, regles de comportament i context. A més, l'execució s'organitza en un pipeline de sis etapes (ingesta, encaminament, context, model, eines i entrega) amb cues serials que faciliten la depuració i la traçabilitat.

PycoClaw encapsula tot això i ho adapta a un entorn amb recursos molt més reduïts. Mitjançant MicroPython, l'ESP32 executa el cicle agèntic complet, però decidint de forma dinàmica quan fer servir raonament local i quan recórrer a una API externa . El resultat és un agent que pot prendre petites decisions pel seu compte, guardar memòria persistent i executar eines sobre el maquinari, alhora que delega la “intel·ligència pesada” al núvol quan cal.

El projecte inclou un IDE accessible des del navegador que simplifica la flashejada del microprogramari i la configuració de MicroPython . El founder o desenvolupador només ha de connectar la placa, prémer un botó i en pocs minuts té un agent desplegat. toolchains complexes ni instal·lacions pesades en local.

Una de les peces diferencials és ScriptoHub, un repositori comunitari de scripts dagents llestos per utilitzar . Hi ha des d'automatització domèstica fins a assistents de camp o petits robots, i qualsevol pot importar aquestes “habilitats” des de l'IDE, modificar-les i tornar les versions pròpies a la comunitat. Funciona gairebé com una app store de comportaments per a maquinari.

Control directe de maquinari i xat multicanal amb PycoClaw

El que realment dóna vida a un agent en un ESP32 és la seva capacitat de controlar el món físic alhora que manté converses o fluxos d'ordres . PycoClaw permet que el mateix runtime que gestiona el diàleg tingui accés a GPIO, I2C, SPI, PWM i altres perifèrics del microcontrolador.

A la pràctica, això significa que un agent pot, per exemple, llegir un sensor de temperatura, moure un servo, encendre un relé i actualitzar una petita pantalla , tot dins del bucle de decisió de IA. La lògica es manté en un llenguatge d'alt nivell (MicroPython), de manera que ajustar comportaments és molt més semblant a editar programari que no pas a reescriure firmware des de zero.

A nivell de connectivitat, PycoClaw replica l'enfocament multicanal d'OpenClaw però adaptat al dispositiu: podeu rebre i enviar missatges via Bluetooth, WiFi, sèrie o MQTT . Un únic ESP32 pot acceptar ordres des d'una app mòbil, un panell web o un broker industrial sense que el desenvolupador hagi de muntar integracions específiques per a cada canal.

L'estat de l'agent no es perd quan la llum es talla o es reinicia el micro. PycoClaw guarda la memòria (sessions, configuració, personalitat) a la flaix de l'ESP32 usant sistemes d'arxius com SPIFFS o LittleFS, cosa que resulta crítica en entorns industrials, productes de consum o sistemes remots on s'espera que el dispositiu recordi preferències i context.

Pel que fa a l'espai competitiu, PycoClaw es posiciona davant d'opcions com TensorFlow Lite Micro o Edge Impulse, que són magnífiques per a inferència de ML en sensors però no tenen bucles d'agent, eines o memòria conversacional . També es diferencia d´AWS IoT Greengrass, molt potent però fortament lligat al núvol d´Amazon i amb costos per dispositiu, i de projectes experimentals a C++ amb corbes d´aprenentatge més dures. L'aposta de PycoClaw és apropar un framework madur d'agents a maquinari massiu i barat, amb una experiència de desenvolupament assumible per a petits equips.

Assistents de veu i personatges IA sobre ESP32: casos reals

Més enllà dels frameworks, hi ha projectes molt concrets que demostren fins on es pot arribar combinant un ESP32 amb agents IA i serveis al núvol. Un dels exemples més cridaners és la versió portàtil de Wheatley (el personatge de Portal 2) construïda sobre un nucli ESP32 amb 8 MB de PSRAM , integrat en un SenseCap Watcher.

En aquest muntatge, el microcontrolador actua com a interfície física i de xarxa, utilitzant el seu micròfon intern per capturar àudio. Les dades s'envien per WebRTC al núvol, on un pipeline compost per OpenAI Whisper, GPT-4o i ElevenLabs s'encarrega respectivament de la transcripció, la generació de text i la síntesi de veu. La resposta d'àudio es torna també per WebRTC i es reprodueix en temps real al dispositiu.

L'interessant és que, malgrat que el raonament i la veu corren en servidors externs, tota la “màgia” per a l'usuari passa sobre un maquinari de prop de 15 dòlars . L'ESP32 coordina els fluxos, gestiona el temps real i es pot integrar en qualsevol rèplica física de Wheatley sense necessitat de PCs amagats ni atuells voluminosos.

Un enfocament semblant es veu en un assistent de veu DIY basat en ESP32 com a interfície d'E/S i un servidor Node.js amb LangChain i OpenAI a l'altra banda d'un WebSocket . L'usuari prem un botó al microcontrolador, aquest captura la veu, l'envia al backend, on es processa el llenguatge natural i es genera una resposta que es torna en forma d'àudio per ser reproduïda a l'altaveu connectat a l'ESP32.

Darrere d'una interacció aparentment simple hi ha força treball d'enginyeria: gestió eficient de búfers d'àudio per aconseguir streaming fluid , sincronització dels fluxos bidireccionals, ajustament de taxes de mostreig i mides de paquet per limitar artefactes i latència. El resultat, ben afinat, és un assistent que es pot invocar sense tocar el mòbil ni l'ordinador, amb una experiència molt semblant a un altaveu intel·ligent comercial.

Aquest tipus de solucions híbrides il·lustren bé la idea de “IA a la vora”: l'ESP32 s'encarrega del temps real, la interacció amb el maquinari i la robustesa davant de talls de connectivitat, mentre que el núvol es reserva per a tasques d' alt cost computacional com STT, LLMs i TTS de qualitat . Quan la xarxa falla, el microcontrolador pot continuar reaccionant amb regles locals o models lleugers; quan la xarxa torna, es reprèn el cicle complet d'agent intel·ligent.

Arquitectures recomanades per a assistents de veu i agents a ESP32-S3

Si l'objectiu és construir un assistent de veu sobre un ESP32-S3 amb un cert nivell d'autonomia, una arquitectura habitual és dividir responsabilitats: detecció local de paraula d'activació i preprocessament d'àudio al dispositiu , deixant al núvol el reconeixement complet, el raonament i la síntesi.

El microcontrolador s'encarrega d'escoltar en segon pla, detectar un “hey” o una frase curta mitjançant un model petit o algorismes clàssics, i només llavors capturar segments d'àudio, netejar-los (reducció de soroll, cancel·lació de ressò) i enviar-los al servidor. Aquesta estratègia redueix el consum de xarxa, evita enviar tot allò que sent el dispositiu i manté la sensació de resposta immediata en despertar l'agent.

Pel que fa al maquinari, sol recomanar-se utilitzar còdecs I2S per a àudio, matrius de micròfons per millorar la relació senyal/soroll i una font d'alimentació que suporti modes portàtils o semiestacionaris. Una bona caixa acústica també ajuda, tant en la captació com en la qualitat del so emès, i convé pensar des del disseny inicial en la dissipació tèrmica si el dispositiu estarà sempre actiu.

A nivell de protocol, molts equips opten per definir una capa intermèdia que descrigui de manera declarativa les capacitats del dispositiu (pins disponibles, relés, sensors, actuadors) . Així, l'agent al núvol no necessita conèixer detalls d'implementació: simplement invoca operacions com “encender_luz_salon” o “pujar_cortines”, i és l'ESP32 qui tradueix aquestes ordres a moviments en GPIO, busos o perifèrics concrets.

Des del punt de vista de seguretat i robustesa, integrar serveis d'IA externs implica manejar autenticació, xifratge d'extrem a extrem i la possibilitat de canviar de proveïdor sense reescriure mig projecte. Dissenyar des del principi l'arquitectura per suportar diversos backends (diferents LLMs, diferents serveis de veu) dóna marge per ajustar costos, qualitat i temps de resposta sense llençar el maquinari a les escombraries.

A desplegaments professionals entren també altres capes: proves de penetració, gestió segura de secrets, actualitzacions OTA i auditoria detallada d'esdeveniments . Hi ha empreses especialitzades que acompanyen aquesta part, integrant els ESP32 amb plataformes cloud com AWS o Azure, construint quadres de comandament a mida i connectant les dades a eines d'analítica tipus Power BI mitjançant connectors controlats.

Aplicacions, limitacions i cap a on va tot això

Les aplicacions pràctiques d'agents d'IA locals o híbrids a ESP32 són moltes, tot i que sempre estan condicionades per la potència i la memòria disponibles. A la llar, és fàcil imaginar sistemes d'automatització que aprenen patrons d'ús i ajusten il·luminació, climatització o persianes de manera proactiva, sense dependre d'un servidor extern per encendre una llum simple.

En agricultura i entorns industrials lleugers, un agent pot vigilar vibració, temperatura, humitat o flux , detectar anomalies amb un model petit i disparar alertes abans que hi hagi una avaria seriosa. En no dependre del núvol per a cada cicle d'anàlisi, el sistema també funciona en ubicacions amb connectivitat limitada i redueix riscos en infraestructures crítiques.

En educació i robòtica, tenir un microcontrolador capaç dexecutar un bucle dagent complet, amb memòria i accions sobre motors o sensors , obre possibilitats molt interessants per aprendre IA de forma tangible. Un robot que s'adapta al comportament de l'alumne o un experiment de domòtica intel·ligent esdevenen molt més accessibles gràcies al cost reduït del maquinari.

Per descomptat, les limitacions són importants: la RAM disponible (sovint al rang de 256-520 KB) obliga que els models locals siguin molt compactes i específics , i en molts casos qualsevol raonament minimament complex s'ha de descarregar en un LLM remot. A més, l'execució de codi generat dinàmicament en dispositius connectats planteja reptes de seguretat que no es poden ignorar.

També cal tenir en compte la maduresa de l'ecosistema. Projectes com PycoClaw i el seu marketplace ScriptoHub estan encara en fases relativament primerenques , amb comunitats en creixement i documentació que va millorant amb el temps. Tot i així, per a equips bootstrapped que construeixen productes a smart home, drones, wearables o automatització industrial barata, el balanç entre cost i benefici ja és clarament favorable.

Mirant el conjunt, la combinació d'ESP-Claw, PycoClaw, arquitectures híbrides de veu i exemples reals com el Wheatley portàtil o l'assistent DIY demostra que la intel·ligència artificial distribuïda en microcontroladors econòmics ha deixat de ser un experiment per esdevenir una opció real de producte. L'èxit d'aquest enfocament dependrà tant de l'evolució del maquinari com de la capacitat de les comunitats i empreses per crear eines, bones pràctiques i ecosistemes d'scripts reutilitzables, però tot apunta que en els propers anys serà cada cop més habitual trobar agents IA “ficats” en atuells que, a simple vista, semblen qualsevol ESP32 de tota la vida.