Exo AI programmatūra: mājas klasteris lieliem valodu modeļiem

Lielu valodu modeļu lokāla izpilde (LLM) parasti tiek saistīta ar milzīgām iekārtām, ārkārtīgi dārgām grafikas kartēm un nedraudzīgu enerģijas patēriņu. Tomēr pēdējos mēnešos ir parādījusies alternatīva, kas piesaista lielu uzmanību: Exo, programmatūra, kas pārvērš vairākas mājas ierīces mākslīgā intelekta klasterī spējīgs darbināt ļoti prasīgus modeļus, nepaļaujoties uz mākoņpakalpojumiem.

Ar Exo, Ideja ir apvienot datoru jaudu, pārnēsājamasmobilie tālruņi un citas savienotas ierīces Lai, apvienojot savus resursus, viņi varētu vadīt LLM programmas, ko parasti redzam tikai profesionālos datu centros. Tas paver durvis sava veida "mini datu centra" izveidei mājās, kas ir ideāli piemērots tādiem projektiem kā vietējie asistenti, piemēram, Home Assistant, MVU, kas vēlas eksperimentēt ar mākslīgo intelektu, neiztērējot pārāk daudz naudas, vai zinātkāriem izstrādātājiem, kas vēlas iet tālāk par tipisku mākoņtestēšanu.

Kas ir Exo un kādus mērķus tas cenšas atrisināt?

Exo ir atvērtā koda eksperimentāla programmatūra.uztur Exo Labs, kuras galvenais mērķis ir dot iespēju jums izveidot savu klasteris mākslīgais intelekts mājās izmantojot ikdienas ierīces. Tā vietā, lai paļautos uz vienu grafisko procesoru ar lielu videoRAM apjomu, Exo izplata modeli vairākās ierīcēs, kas savienotas ar vienu un to pašu tīklu.

Exo pamatideja ir vienkārša, bet ļoti spēcīga.jūsu ierastās ierīces — MacBook, iPhoneiPad, Linux dators vai pat daži vienas plates datori (SBC) var sadarboties, lai darbinātu lielu mākslīgā intelekta modeli. Katrs no tiem nodrošina atmiņu un skaitļošanas jaudu, un programmatūra visu koordinē tā, lai tas darbotos tā, it kā tā būtu viena, lielāka mašīna.

Exo radās kā atbilde uz ļoti izplatītu ierobežojumuNe visiem ir pieejams augstas klases GPU, piemēram, NVIDIA RTX 3090 ar 24 GB videoatmiņu un desmitiem gigabaitu operatīvo atmiņu. Lai darbinātu "pieticīgu" modeli, piemēram, Llama 3.1 70B ar pienācīgu lokālo veiktspēju, ir nepieciešama aparatūra, kas pārsniedz daudzu izstrādātāju, ražotāju vai mazo uzņēmumu budžetu.

Tā vietā, lai piespiestu jūs ieguldīt milzīgā iekārtā vai paļauties tikai uz mākoņpakalpojumiem, Exo ierosina apvienot vairāku pieticīgāku ierīču pieejamo atmiņu lai viss modelis iederētos klasterī kopumā. Tas ievērojami demokratizē piekļuvi eksperimentiem ar progresīvu mākslīgo intelektu, kas ir īpaši interesanti jaunuzņēmumiem un MVU.

Kā Exo darbojas tehniskā līmenī

Exo būtība ir tā spēja izplatīt LLM modeļus. visās pieejamajās ierīcēs mājas vai biroja tīklā. Tā vietā, lai ielādētu visu modeli vienā ierīcē, Exo to sadala un izplata, izmantojot katra mezgla kopējo atmiņu un skaitļošanas jaudu.

Lai to izdarītu, Exo izmanto izkliedētas koplietotās atmiņas pieejupielāgojot katrā ierīcē ievietojamo modeļa daļu atbilstoši pieejamās atmiņas (RAM un macOS sistēmā GPU VRAM) apjomam. Tādējādi modelis, kam parasti būtu nepieciešams ļoti jaudīgs GPU, var darboties klēpjdatoros, galddatoros un pat citās ierīcēs, ja vien kopējā klastera atmiņa ir pietiekama.

Process sākas ar Exo instalēšanu saderīgās ierīcēs.Daudzos gadījumos tas prasa, lai būtu Pitons 3.12 vai jaunāka versija, kā arī citi rīki, piemēram, atkarību pārvaldnieks un kompilatori. Kad pakalpojums ir palaists, ierīcēs, kurās darbojas Exo viņi automātiski atrod viens otru vienā tīklā, bez nepieciešamības manuāli konfigurēt IP adreses vai portus.

Iekšējā komunikācija starp mezgliem balstās uz savienojumiem peer-to-peerTas dod priekšroku arhitektūrai, kurā katra mašīna sniedz savu ieguldījumu, nepaļaujoties uz vienu stingru centrālo serveri. Pamatojoties uz šo topoloģiju, Exo veic resursu un latentuma analīzi, lai izlemtu, kā sadalīt modeli un kur novietot katru fragmentu.

Viens no galvenajiem elementiem ir modeļu dinamiskā sadalīšana.Exo iegūst reāllaika skatu uz klastera topoloģiju, katras ierīces resursiem (atmiņu, centrālo procesoru, grafisko procesoru) un tīkla saišu kvalitāti (latentumu, joslas platumu starp mezgliem). Izmantojot šo informāciju, tas automātiski izlemj, kā sadalīt modeli, lai līdzsvarotu slodzi un samazinātu sastrēgumus.

Exo galvenās tehniskās īpašības

Exo projektā ir iekļautas vairākas funkcijas, kas paredzētas, lai no tā gūtu maksimālu labumu. pieejamo aparatūru un atvieglo lietotāja dzīvi. Starp ievērojamākajiem ir:

Automātiska ierīču noteikšanaIerīces, kurās darbojas Exo, var atrast viena otru, jums nepieskaroties tīkla konfigurācijai. Tas ļauj izvairīties no tipiskā murga, kas saistīts ar statisku IP adrešu, manuālu portu vai pielāgotu skriptu izmantošanu, lai mezgli varētu viens otru redzēt.

Atbalsts RDMA pār ThunderboltViens no pārsteidzošākajiem punktiem ir tas, ka Exo nāk ar Saderība ar RDMA (attālo tiešo atmiņas piekļuvi) no pirmās dienas, izmantojot Thunderbolt 5Šī pieeja ļauj samazināt latentumu starp ierīcēm līdz pat 99 % salīdzinājumā ar tradicionālākajām komunikācijas metodēm, kas ir ļoti svarīgi, sadalot viena modeļa detaļas starp vairākām iekārtām.

Tenzoriskā paralēlismsExo īsteno metodes, kas paredzētas tenzoru paralēlismsCitiem vārdiem sakot, tas sadala modeļa tenzorus vairākās ierīcēs. Pateicoties tam, noteiktās konfigurācijās ir ziņots par ātruma uzlabojumiem līdz pat 1,8 reizēm, izmantojot divas ierīces, un līdz pat 3,2 reizēm, izmantojot četras, salīdzinot ar modeļa darbināšanu vienā ierīcē ar tiem pašiem resursiem.

Apzināta topoloģija un pašparalēlizācijaSistēma automātiski aprēķina labāko veidu, kā sadalīt modeli un izplatīt to pa klasteri, ņemot vērā gan katra mezgla jaudu, gan savienojumu kvalitāti starp tiem. Šī funkcija “topoloģiju apzinoša automātiskā paralēlā” Tas samazina lietotāja nepieciešamību visu manuāli pielāgot.

MLX integrācija un GPU atbalsts macOS operētājsistēmāmacOS sistēmā Exo izmanto MLX kā secinājumu aizmugursistēma un MLX Distributed izkliedētai komunikācijai. Tas ļauj izmantot Apple Silicon mikroshēmās integrēto grafisko procesoru priekšrocības, kas ir īpaši interesanti tādās ierīcēs kā magone Studio vai jaunākās paaudzes MacBook Pro.

Praktiski lietošanas gadījumi un veiktspēja Mac datoros

Exo ir pārbaudīts ļoti sarežģītos apstākļos apvienojot vairākus augstas klases Mac datorus, izmantojot gan tenzoru paralēlismu, gan RDMA priekšrocības, izmantojot Thunderbolt 5. Šajos iestatījumos ir palaisti gigantiski modeļi, ko parasti redzam tikai datu centru vidē.

Viens no kopienā apspriestajiem piemēriem ir četri Mac Studio ar M3 Ultra mikroshēmu savienots ar Thunderbolt 5 un RDMA. Kopā tie nodrošina aptuveni 15 TB efektīvas VRAM, lai pielāgotos neticami lieliem modeļiem.

Starp modeļiem, kas ir ieviesti šāda veida iestatījumos, izceļas šādi: Qwen3-235B 8 bitos, DeepSeek v3.1 671B arī kvantizēts līdz 8 bitiem vai pat Kimi K2 domāšana dzimtajā 4 bitu valodāVisos šajos gadījumos katrs Mac dators mitina daļu no modeļa, un saziņa starp mezgliem tiek optimizēta, izmantojot RDMA.

Šos eksperimentus ir dokumentējuši tādi autori kā Džefs Gīrlingskas ir parādījis, kā ir iespējams iestatīt mājas konfigurāciju ar milzīgu efektīvas video atmiņas apjomu. Šajā scenārijā Exo darbojas kā orķestrācijas slānis, kas ļauj modelim darboties saskaņoti, neskatoties uz to, ka tas ir sadalīts vairākās iekārtās.

Papildus šīm ekstremālajām konfigurācijām, To pašu principu var piemērot arī pieticīgākiem lietojumiem.Piemēram, lai barotu lielu valodas modeli, kas kalpo kā uzlabotas mājas automatizācijas sistēmas smadzenes, privāta sarunu asistenta vai teksta analīzes rīku darbība mazā uzņēmumā.

Exo izmantošana ar mājas palīgu un uzlabotu mājas automatizāciju

Mājas palīgu kopiena jau runā par Exo kā iespēju lokāli vadīt lielus LLM, kas kalpo kā mājas automatizācijas spriešanas dzinēji. Lai gan daudzi cilvēki to vēl nav tieši izmēģinājuši, projekts ir piesaistījis uzmanību, jo tas sola ļaut ļoti smagi modeļi ar relatīvi pieticīgu aparatūruar nosacījumu, ka kopā ir sapulcējies pietiekami daudz komandu.

Ideja ir tāda, ka nevis paļaujoties uz jaudīgu GPU vai mākoņdatošanuVarat izveidot klasteri ar vairākiem datoriem, pat ja tiem nav atsevišķas grafiskās kartes. Exo apstrādātu modeli visos datoros, ļaujot Home Assistant konsultēties ar vietējo tiesību zinātņu palīgu (LLM), lai pieņemtu sarežģītākus lēmumus vai sniegtu dabiskākas atbildes.

Šī pieeja ir īpaši pievilcīga tiem, kam privātums ir svarīgs.Tā kā mājsaimniecības datiem nav jāatstāj lokālais tīkls, visa secinājumu veikšana un dabiskās valodas apstrāde tiek veikta jūsu iestatītajā klasterī, nepaļaujoties uz ārējiem serveriem.

Projekts ir piesaistījis uzmanību tehnoloģiju emuāros, piemēram, CNX Software, kur Tiek uzsvērts, ka Exo var darboties pat datoru klasteros, viedtālruņos vai izstrādes platēs.Tomēr praksē vispilnīgākais atbalsts pašlaik ir atrodams macOS un Linux, un joprojām pastāv daži ierobežojumi. iOS.

Daudziem mājas automatizācijas entuziastiem, Exo + mājas palīga kombinācija Tā varētu būt trūkstošā sastāvdaļa — uzlabots, vienmēr ieslēgts un pilnībā lokāls sarunu asistents, nemaksājot par mākoņa žetoniem vai nepaļaujoties uz trešajām pusēm.

Saderīgi mākslīgā intelekta modeļi un ierobežojumi ar patentētiem modeļiem

Exo ir saderīgs ar daudziem populāriem AI modeļiemīpaši tās, kas ir daļa no atvērtās ekosistēmas un kuras var lejupielādēt un palaist lokāli. Tās ietver tādas saimes kā LLaMA, Mistral, LLaVA, Qwen un DeepSeek, kā arī citas.

Īpašā gadījumā Metas 3. lamaExo īpaši labi darbojas ar šīm arhitektūrām, ļaujot izmantot dažāda lieluma variantus atkarībā no klastera resursiem. Tas atvieglo gan individuāliem eksperimentētājiem, gan mazajiem uzņēmumiem moderna valodas modeļa iegūšanu, neradot licencēšanas izmaksas vai nepaļaujoties uz trešo pušu API.

Vēl viena interesanta priekšrocība ir iespēja atklāt API, kas ir saderīga ar ChatGPTAr dažiem pielāgojumiem Exo ļauj modeļiem, kas darbojas jūsu klasterī, pieņemt pieprasījumus formātā, kas ir līdzīgs API. OpenAIkas ievērojami vienkāršo integrāciju ar lietojumprogrammām, kas jau darbojas ar šo standartu.

Tomēr, Runājot par patentētiem modeļiem, piemēram, GPT-4, ir skaidra robeža.GPT-4 ir slēgts modelis, kas atrodas OpenAI infrastruktūrā un nav pieejams lejupielādei. Tas nozīmē, ka pēc definīcijas to nevar palaist Exo vai jebkurā citā lokālā vidē ārpus OpenAI.

Tāpēc, strādājot ar Exo Jums jāpieturas pie atvērtā pirmkoda modeļiem vai tiem, kas pieejami vietējai lietošanai.Lielākajai daļai praktisko pielietojumu (tērzēšanas robotiem, asistentiem, teksta analīzei, pamata un padziļinātai spriešanai) jau ir pietiekami jaudīgs atvērtā pirmkoda modeļu katalogs, īpaši ņemot vērā neseno tādu modeļu kā Llama 3.x, Qwen vai DeepSeek attīstību.

Exo klastera izmantošanas galvenās priekšrocības

Exo lielākā priekšrocība ir tā, ka tas ļauj ievērojami samazināt ieguldījumus aparatūrā.Tā vietā, lai iegādātos darbstaciju ar milzīgu grafisko procesoru, varat pārveidot datorus un ierīces, kas jums jau ir mājās vai birojā. Daudzi lietotāji varētu izveidot klasteri, vienkārši izmantojot savus Mac datorus, vecāku datoru un citu nepietiekami izmantotu aprīkojumu.

Šī pieeja demokratizē piekļuvi progresīvam mākslīgajam intelektamTas ļauj jaunuzņēmumiem un MVU ar ierobežotu budžetu konkurēt līgā, kas iepriekš bija paredzēta tikai labi nodrošinātām korporācijām. Ne visi projekti attaisno dārgu grafisko procesoru nomu mākonī, un tieši šeit lokāls klasteris ir pilnīgi saprātīgs.

Turklāt, Exo ir ļoti elastīgs ierīču tipu ziņāLai gan visnobriedušākais atbalsts pašlaik ir macOS (izmantojot GPU) un Linux (pašlaik izmantojot CPU), projekta mērķis ir integrēt arī cita veida aparatūru un taktiski uzlabot saderību. Šī spēja kombinēt dažādus mašīnu profilus ļauj jums izveidot klasteri atbilstoši jūsu īpašajām vajadzībām.

Vēl viena būtiska priekšrocība ir tā, ka, pateicoties izkliedētajai arhitektūrai, Klasteri var relatīvi viegli mērogotJa jebkurā brīdī nepieciešama lielāka veiktspēja, vienkārši pievienojiet vēl vienu ierīci, kurā darbojas Exo. Katrs jauns mezgls tiks automātiski noteikts, un tā resursi tiks pievienoti kopējam skaitam, bez nepieciešamības pārveidot sistēmu no jauna.

Visbeidzot, dinamiskā sadalīšana un topoloģijas izpratne Tie garantē, ka pat ierīces ar pieticīgu aparatūru var sniegt kaut ko noderīgu. Lai gan vecāks klēpjdators nevarēs pats darbināt visu sistēmu, tas var tikt galā ar daļu no darba slodzes vai veikt dažus aprēķinus, tādējādi veicinot kopējo veiktspēju.

Pašreizējie ierobežojumi un apsvērumi

Ne viss ir perfekts, un Exo joprojām ir nepārprotami eksperimentāla programmatūra.Tas nozīmē, ka joprojām var rasties kļūdas, nestabila darbība vai biežas izmaiņas sistēmas konfigurācijā un darbībā. Tas nav risinājums, kas paredzēts nobriedušam komerciālam produktam un ir "iestati un aizmirsti".

iOS ierīcēs, piemēram, iPhone un iPad, Atbalsts joprojām ir ierobežots Un, lai to patiesi izmantotu plaša sabiedrība, ir nepieciešama turpmāka attīstība. Lai gan projekts paredz arī šo ierīču izmantošanu, pašlaik lielākoties vienmērīgā pieredze tiek nodrošināta datoros.

Vēl viens svarīgs faktors ir tas, ka Klastera kopējā efektivitāte būs ļoti atkarīga no mājas tīkla.Ja jums ir pārslogots Wi-Fi tīkls, novecojuši maršrutētāji vai lēni savienojumi, liela modeļa izplatīšana vairākos mezglos var kļūt par ievērojamu sašaurinājumu. Nopietnos apstākļos gandrīz vienmēr ir jāizmanto augstas kvalitātes vadu savienojumi vai, Mac datoru gadījumā, Thunderbolt 5 ar RDMA.

Turklāt, lai gan daudzu pieticīgu ierīču summa var sasniegt iespaidīgus atmiņas skaitļus, Tie ne vienmēr spēs konkurēt neapstrādātā veiktspējā ar augstas klases GPU kopu.Jāņem vērā delikāts līdzsvars starp koordinācijas izmaksām, tīkla latentumu un efektīvo skaitļošanas jaudu.

Ar visu, Exo vērtības piedāvājums joprojām ir ļoti interesants: esošā aprīkojuma pārveidošana praktiski bez aparatūras izmaksām par klasteri, kas spēj darbināt modeļus, kuri līdz nesenam laikam šķita pieejami tikai specializētiem datu centriem.

Exo uzstādīšana, prasības un izpildes metodes

Lai Exo darbotos operētājsistēmā macOS Pakotņu pārvaldībai parasti tiek izmantoti tādi rīki kā Homebrew, Python atkarību pārvaldībai — UV, Apple Silicon mikroshēmu aparatūras uzraudzībai — macmon, tīmekļa vadības paneļa izveidei — Node.js un noteiktu saistījumu kompilēšanai — Rust (pašlaik pieejama nakts versijā).

Tipiska darbplūsma macOS sistēmā notiek šādi: klonēt oficiālo GitHub repozitorijuInstalējiet atkarības un palaidiet atbilstošo komandu, lai palaistu Exo. Tas palaidīs gan API, gan lokāli pieejamu tīmekļa informācijas paneli adresē http://localhost:52415No turienes jūs varat redzēt klastera, modeļu, instanču utt. statusu.

Papildus izpildei, ko veicis termināls, Exo piedāvā vietējo macOS lietotni Šī lietotne darbojas fonā. Tai nepieciešama macOS Tahoe 26.2 vai jaunāka versija, un tā tiek izplatīta kā .dmg fails (piemēram, ar nosaukumu EXO-latest.dmg). Instalēšanas laikā tā var lūgt atļauju mainīt noteiktus sistēmas iestatījumus un pievienot tīkla profilu, kas ir nepieciešams, lai iespējotu papildu funkcijas, piemēram, RDMA.

Linux vidē instalēšana parasti ietver sistēmas pakotņu pārvaldnieka izmantošanu. (piemēram, apt operētājsistēmās Debian/Ubuntu) vai, ja vēlaties, izmantojot Homebrew operētājsistēmā Linux. Paturiet prātā, ka dažas utilītas, piemēram, macmon, ir paredzētas tikai macOS un netiek izmantotas operētājsistēmā Linux.

Tagad, Linux sistēmā Exo darbojas ar centrālo procesoru (CPU).Pašlaik GPU paātrinātājiem nav pilnīga atbalsta. Izstrādātāju komanda strādā pie saderības paplašināšanas ar dažādām aparatūras platformām, tāpēc ieteicams pārbaudīt problēmas un funkciju pieprasījumus vietnē GitHub, ja vēlaties uzzināt, vai jūsu konkrētā ierīce varētu tikt atbalstīta nākotnē.

RDMA konfigurēšana, izmantojot Thunderbolt, macOS sistēmā

Viena no pārsteidzošākajām jaunajām macOS versiju funkcijām Tā ir RDMA atbalsta pievienošana, īpaši izmantojot Thunderbolt 5 pieslēgvietas. Šī funkcija ir ļoti svarīga, lai samazinātu latentumu starp fiziski savienotiem Mac datoriem, kas ir ļoti vērtīgi, izplatot LLM modeli.

RDMA ir pieejams, sākot ar macOS 26.2 un Tas darbojas ierīcēs ar Thunderbolt 5 piemēram, M4 Pro Mac mini, M4 Max Mac Studio, M4 Max MacBook Pro vai M3 Ultra Mac Studio. Tomēr konkrētajā Mac Studio gadījumā jāizvairās no Thunderbolt 5 porta, kas atrodas blakus Ethernet portam, izmantošanas, jo tam ir noteikti RDMA ierobežojumi.

Lai aktivizētu RDMA, Ir nepieciešams ievērot procesu atkopšanas režīmāPamata darbības ietver Mac izslēgšanu un ieslēgšanu, turot nospiestu ieslēgšanas/izslēgšanas pogu apmēram 10 sekundes, līdz parādās izvēlne. zābaks, izvēlieties opciju “Opcijas”, lai atvērtu atkopšanas vidi, un izvēlnē Utilītprogrammas atveriet programmu Terminālis.

Tajā atkopšanas terminālī Tiek izpildīta Exo dokumentācijā norādītā komanda lai iespējotu RDMA sistēmas līmenī. Pēc Enter nospiešanas un Mac restartēšanas funkcionalitāte tiek aktivizēta, un Exo to var izmantot, lai izveidotu ļoti zemas latentuma saites starp dažādiem Mac datoriem, kas savienoti, izmantojot Thunderbolt 5.

No turienes Exo rūpējas par sarežģīto daļuIzmantojot RDMA, lai samazinātu datu pārsūtīšanas kavējumus starp mezgliem. Šis iekšējās komunikācijas uzlabojums ir īpaši svarīgs, strādājot ar modeļiem, kas satur simtiem miljardu parametru, kas ir fragmentēti vairākās iekārtās.

Mijiedarbojieties ar Exo, izmantojot API un tīmekļa paneli

Papildus grafiskajam informācijas panelim vietnē http://localhost:52415Exo piedāvā REST API, kas ļauj pārvaldīt praktiski visu modeļu dzīves ciklu: izvēlēties, kur tos novietot, izveidot instances, palaist tērzēšanas pieprasījumus un atbrīvot resursus, kad tie vairs nav nepieciešami.

Tipiska plūsma varētu sākties ar galapunkta vaicājumu. /instance/priekšskatījumiKad nosūtāt izvietojamā modeļa parametrus, šis pakalpojums atgriež visi derīgie šī modeļa izvietojumi jūsu klasterīTas būtu kaut kas līdzīgs iespējamo “izvietošanas plānu” sarakstam, pamatojoties uz pašreizējo topoloģiju un resursiem.

Pamatojoties uz atsauksmēm no šī priekšskatījuma, Jūs izvēlaties sev piemērotāko izkārtojumu. (piemēram, pirmais sarakstā, kuru var atlasīt ar tādiem rīkiem kā jq no termināļa) un izmantot to, lai veiktu POST pieprasījumu galapunktam /instanceŠī pieprasījuma lietderīgajai slodzei ir jāatbilst CreateInstanceParams definētajiem tipiem, tostarp tādiem parametriem kā modelis, aparatūras konfigurācija un piešķirtie mezgli.

Kad instance ir izveidota, Varat ar to mijiedarboties, izmantojot galapunktu, kas ir saderīgs ar OpenAI API., piemēram /v1/tērzēšana/pabeigšanasJSON pieprasījuma struktūra praktiski ir tāda pati kā ChatGPT API, tāpēc ir ļoti viegli pielāgot esošās lietojumprogrammas, lai tās norādītu uz jūsu Exo klasteri, nevis mākoni.

Kad vairs nav nepieciešams konkrēts modelis, To var atbrīvot, nosūtot DZĒŠANAS pieprasījumu ar instances ID.ko var atrast, vaicājot galapunktus, piemēram, /štats o /instanceNo otras puses, ir noderīgi, ja pa rokai ir ātri signāli, piemēram, /modeļi, kurā uzskaitīti visi lokāli pieejamie modeļi, vai pati /state komanda, kurā ir detalizēti aprakstīts pašreizējais izvietošanas statuss.

Projekta statuss un izstrādes kopiena

Exo atrodas GitHub vietnē repozitorijā exo-explore/exo. Tas tiek izstrādāts atklāti, un tajā piedalās gan Exo Labs pamatkomanda, gan kopiena. CONTRIBUTING.md failā ir izklāstītas vadlīnijas par ieguldījumu, pieprasījumu iesniegšanu, kļūdu ziņošanu un jaunu funkciju ierosināšanu.

Kopš tā laika Tas ir dzīvs projekts, kas nepārtraukti attīstāsTas ir ierasts jaunu versiju izlaišanai, saderības uzlabojumiem ar dažādiem aparatūras modeļiem un platformām, kā arī izmaiņām noteiktu komponentu konfigurācijā. Tāpēc ieteicams regulāri pārskatīt dokumentāciju un risināt neatrisinātās problēmas.

Runājot par saderību ar akseleratoriem, Pateicoties GPU un MLX izmantošanai, macOS pašlaik bauda plašāku atbalstu.Lai gan operētājsistēmā Linux tas pašlaik darbojas ar centrālo procesoru (CPU). Komanda ir mudinājusi lietotājus, kuri ir ieinteresēti saņemt atbalstu jauna veida aparatūrai, atvērt vai atbalstīt esošos pieprasījumus ar reakcijām vietnē GitHub, lai viņi varētu noteikt prioritāti platformām, kuras ir vispieprasītākās.

No ekonomiskā viedokļa, Exo ir pilnīgi bezmaksas un atvērtā kodaProgrammatūras lietošanai nav saistītas maksas licences, kas ļoti labi iederas personīgiem, izglītības vai maziem biznesa projektiem, kuros vēlas nopietni eksperimentēt ar mākslīgo intelektu bez liela budžeta.

Exo kļūst par galveno spēlētāju progresīvas mākslīgā intelekta demokratizācijā.Tas ļauj ikvienam, kam mājās vai birojā ir vairākas ierīces, izveidot savu valodu modeļu klasteri. Lai gan tam vēl ir tāls ceļš ejams, iespējas, ko tas paver, ir plašas mājas automatizācijai, personīgajiem asistentiem, datu analītikai un moderno modeļu testēšanas vidēm.