Perisian Exo AI: kluster utama untuk model bahasa yang besar

Pelaksanaan tempatan model bahasa besar (LLM) biasanya dikaitkan dengan mesin yang sangat besar, kad grafik yang sangat mahal dan penggunaan tenaga yang tidak mesra alam. Walau bagaimanapun, dalam beberapa bulan kebelakangan ini, satu alternatif telah muncul yang menarik banyak perhatian: Exo, perisian yang menukar beberapa peranti rumah menjadi kluster AI mampu menjalankan model yang sangat mencabar tanpa bergantung pada awan.

Bersama Exo, Ideanya adalah untuk menggabungkan kuasa komputer, komputer ribatelefon bimbit dan peranti lain yang disambungkan Supaya, dengan menggabungkan sumber mereka, mereka boleh menjalankan LLM yang biasanya hanya kita lihat di pusat data profesional. Ini membuka pintu untuk menubuhkan sejenis "pusat data mini" di rumah, sesuai untuk projek seperti pembantu tempatan seperti Pembantu Rumah, PKS yang ingin bereksperimen dengan AI tanpa membebankan bank, atau pembangun yang ingin tahu yang ingin melangkaui ujian awan biasa.

Apakah Exo dan apakah tujuannya untuk menyelesaikannya?

Exo ialah perisian eksperimen sumber terbukadiselenggarakan oleh Exo Labs, yang objektif utamanya adalah untuk membolehkan anda membina sendiri gugusan kecerdasan buatan di rumah menggunakan peranti harian. Daripada bergantung pada GPU tunggal dengan banyak VRAM, Exo mengedarkan model merentasi beberapa peranti yang disambungkan ke rangkaian yang sama.

Premis Exo mudah tetapi sangat berkesan.peranti biasa anda—MacBook, iPhoneiPad, PC Linux atau komputer papan tunggal (SBC) tertentu boleh bekerjasama untuk menjalankan model AI yang besar. Setiap satu menyumbang memori dan kuasa pengkomputeran, dan perisian tersebut mengatur segala-galanya untuk berfungsi seolah-olah ia adalah mesin tunggal yang lebih besar.

Exo dilahirkan sebagai tindak balas kepada batasan yang sangat biasaBukan semua orang mempunyai akses kepada GPU mewah seperti NVIDIA RTX 3090 dengan VRAM 24 GB dan RAM berpuluh-puluh gigabait. Menjalankan model "sederhana" seperti Llama 3.1 70B dengan prestasi tempatan yang baik memerlukan perkakasan yang melebihi bajet kebanyakan pembangun, pembuat atau perniagaan kecil.

Daripada memaksa anda melabur dalam peralatan yang besar atau bergantung sepenuhnya pada awan, Exo mencadangkan menggabungkan memori yang tersedia bagi beberapa peranti yang lebih sederhana supaya model lengkap sesuai dengan kluster secara keseluruhan. Ini mendemokrasikan akses kepada eksperimen dengan AI canggih dengan ketara, yang amat menarik untuk syarikat baharu dan PKS.

Cara Exo berfungsi pada tahap teknikal

Inti pati Exo terletak pada keupayaannya untuk mengedarkan model LLM merentasi semua peranti yang tersedia pada rangkaian rumah atau pejabat. Daripada memuatkan keseluruhan model ke dalam satu mesin, Exo memecahkannya dan mengedarkannya, memanfaatkan gabungan memori dan kuasa pengkomputeran setiap nod.

Untuk mencapainya, Exo menggunakan pendekatan memori kongsi teragihdengan menyesuaikan bahagian model yang diletakkan pada setiap peranti mengikut jumlah memori (RAM dan, pada macOS, GPU VRAM) yang tersedia. Oleh itu, model yang biasanya memerlukan GPU yang sangat berkuasa boleh dijalankan merentasi komputer riba, desktop dan juga peranti lain, dengan syarat jumlah memori kluster mencukupi.

Proses ini bermula dengan pemasangan Exo pada peranti yang serasi.Dalam banyak kes, ia memerlukan adanya Python 3.12 atau lebih tinggi, sebagai tambahan kepada alatan lain seperti pengurus kebergantungan dan pengkompil. Sebaik sahaja perkhidmatan berjalan, peranti yang menjalankan Exo mereka secara automatik menemui satu sama lain dalam rangkaian yang sama, tanpa anda perlu mengkonfigurasi IP atau port secara manual.

Komunikasi dalaman antara nod adalah berdasarkan sambungan peer-to-peerIni mengutamakan seni bina di mana setiap mesin menyumbang apa yang boleh tanpa bergantung pada pelayan pusat tunggal yang tegar. Berdasarkan topologi ini, Exo menjalankan analisis sumber dan kependaman untuk menentukan cara membahagikan model dan di mana hendak meletakkan setiap fragmen.

Salah satu elemen utama ialah pembahagian dinamik modelExo memperoleh pandangan masa nyata bagi topologi kluster, sumber setiap peranti (memori, CPU, GPU) dan kualiti pautan rangkaian (latency, lebar jalur antara nod). Dengan maklumat ini, ia secara automatik memutuskan cara membahagikan model untuk mengimbangi beban dan meminimumkan kesesakan.

Ciri-ciri teknikal utama Exo

Projek Exo menggabungkan beberapa ciri yang direka untuk memanfaatkannya sepenuhnya. perkakasan yang tersedia dan memudahkan kehidupan pengguna. Antara yang paling ketara ialah:

Penemuan peranti automatikPeranti yang menjalankan Exo boleh mencari antara satu sama lain tanpa anda perlu menyentuh konfigurasi rangkaian. Ini mengelakkan mimpi ngeri biasa seperti berurusan dengan IP statik, port manual atau skrip tersuai untuk nod melihat antara satu sama lain.

Sokongan untuk RDMA melalui ThunderboltSalah satu perkara yang paling menarik perhatian ialah Exo didatangkan dengan Keserasian hari pertama dengan RDMA (Akses Memori Langsung Jauh) melalui Thunderbolt 5Pendekatan ini membolehkan latensi antara peranti dikurangkan sehingga 99% berbanding kaedah komunikasi yang lebih tradisional, yang penting apabila mengagihkan bahagian model yang sama antara beberapa mesin.

Paralelisme tensoriExo melaksanakan teknik-teknik selari tensorDalam erti kata lain, ia membahagikan tensor model merentasi berbilang peranti. Disebabkan ini, dalam konfigurasi tertentu, peningkatan kelajuan sehingga 1,8 kali ganda menggunakan dua peranti dan sehingga 3,2 kali ganda dengan empat peranti telah dilaporkan, berbanding menjalankan model pada satu peranti dengan sumber yang sama.

Topologi sedar dan selari kendiriSistem ini secara automatik mengira cara terbaik untuk membahagikan model dan mengagihkannya merentasi kluster, dengan mengambil kira kuasa setiap nod dan kualiti sambungan antara mereka. Ciri ini "selari automatik yang menyedari topologi" Ia mengurangkan keperluan pengguna untuk melaraskan semuanya secara manual.

Integrasi MLX dan sokongan GPU pada macOSPada macOS, Exo menggunakan MLX sebagai bahagian belakang inferens dan MLX Teragih untuk komunikasi teragih. Ini membolehkannya memanfaatkan GPU yang disepadukan ke dalam cip Apple Silicon, yang amat menarik dalam peranti seperti Mac Studio atau MacBook Pro generasi terkini.

Kes penggunaan praktikal dan prestasi pada Mac

Exo telah diuji dalam senario yang sangat mencabar dengan menggabungkan beberapa Mac mewah, memanfaatkan kedua-dua keselarian tensor dan RDMA berbanding Thunderbolt 5. Dalam persediaan ini, model gergasi telah dijalankan yang biasanya hanya akan kita lihat dalam persekitaran pusat data.

Satu contoh yang dibincangkan dalam komuniti ialah penggunaan empat Mac Studio dengan cip M3 Ultra disambungkan dengan Thunderbolt 5 dan RDMA. Secara keseluruhannya, ia menambah sehingga sekitar 15 TB VRAM yang berkesan untuk menampung model yang sangat besar.

Antara model yang telah dilaksanakan dalam jenis persediaan ini, yang berikut menonjol: Qwen3-235B dalam 8 bit, DeepSeek v3.1 671B juga dikuantisasi kepada 8 bit atau bahkan Kimi K2 Berfikir dalam 4 bit asliDalam semua kes ini, setiap Mac mengehos sebahagian daripada model dan komunikasi antara nod dioptimumkan menggunakan RDMA.

Eksperimen-eksperimen ini telah didokumenkan oleh pencipta seperti Jeff Geerlingyang telah menunjukkan bagaimana mungkin untuk menyediakan konfigurasi rumah dengan sejumlah besar memori video berkesan. Dalam senario ini, Exo bertindak sebagai lapisan orkestrasi yang membolehkan model berfungsi secara koheren walaupun diedarkan merentasi beberapa mesin.

Di sebalik konfigurasi ekstrem ini, Prinsip yang sama boleh digunakan untuk kegunaan yang lebih sederhanaContohnya, untuk memberi makan kepada model bahasa yang besar yang berfungsi sebagai otak sistem automasi rumah termaju, pembantu perbualan peribadi atau alat analisis teks dalam perniagaan kecil.

Menggunakan Exo dengan Home Assistant dan automasi rumah lanjutan

Komuniti Pembantu Rumah sudah pun bercakap tentang Exo sebagai pilihan untuk menjalankan LLM besar di peringkat tempatan yang berfungsi sebagai enjin penaakulan untuk automasi rumah. Walaupun ramai orang belum mencubanya secara langsung, projek ini telah menarik perhatian kerana ia menjanjikan untuk membolehkan model yang sangat berat pada perkakasan yang agak sederhanadengan syarat pasukan yang mencukupi dikumpulkan bersama.

Ideanya ialah, daripada bergantung pada GPU yang berkuasa atau awanAnda boleh menyediakan kluster dengan berbilang komputer, walaupun ia tidak mempunyai GPU khusus. Exo akan mengendalikan pengedaran model merentasi kesemuanya, membolehkan Home Assistant berunding dengan LLM tempatan untuk membuat keputusan yang lebih kompleks atau memberikan respons yang lebih semula jadi.

Pendekatan ini amat menarik bagi mereka yang mengutamakan privasi.Oleh kerana data isi rumah tidak perlu meninggalkan rangkaian setempat, semua inferens dan pemprosesan bahasa semula jadi dilakukan dalam kluster yang telah anda sediakan, tanpa bergantung pada pelayan luaran.

Projek ini telah mendapat perhatian dalam blog teknologi seperti CNX Software, di mana Telah ditonjolkan bahawa Exo juga boleh dijalankan pada kluster komputer, telefon pintar atau papan pembangunan.Walau bagaimanapun, dalam praktiknya, sokongan yang paling canggih kini terdapat pada macOS dan Linux, dengan beberapa batasan masih ada. iOS.

Bagi ramai peminat automasi rumah, gabungan Exo + Pembantu Rumah Mungkin kekurangannya ialah pembantu perbualan yang canggih, sentiasa aktif dan setempat sepenuhnya, tanpa membayar token awan atau bergantung pada pihak ketiga.

Model dan batasan AI yang serasi dengan model proprietari

Exo serasi dengan sebilangan besar model AI yang popularterutamanya yang merupakan sebahagian daripada ekosistem terbuka dan boleh dimuat turun dan dijalankan secara tempatan. Ini termasuk keluarga seperti LLaMA, Mistral, LLaVA, Qwen dan DeepSeek, antara lain.

Dalam kes tertentu Llama 3 daripada MetaExo berfungsi dengan baik dengan seni bina ini, membolehkan varian bersaiz berbeza bergantung pada sumber kluster. Ini memudahkan kedua-dua penguji individu dan perniagaan kecil untuk mempunyai model bahasa moden tanpa menanggung kos pelesenan atau bergantung pada API pihak ketiga.

Satu lagi kelebihan menarik ialah kemungkinan mendedahkan API yang serasi dengan SembangGPTDengan beberapa pelarasan, Exo membenarkan model yang berjalan pada kluster anda untuk menerima permintaan dalam format yang serupa dengan API OpenAIyang sangat memudahkan penyepaduan dengan aplikasi yang sudah berfungsi dengan piawaian tersebut.

Walau bagaimanapun, Terdapat had yang jelas apabila kita bercakap tentang model proprietari seperti GPT-4.GPT-4 ialah model tertutup, dihoskan pada infrastruktur OpenAI dan tidak tersedia untuk dimuat turun. Ini bermakna, mengikut definisi, ia tidak boleh dijalankan pada Exo atau mana-mana persekitaran tempatan lain di luar OpenAI.

Oleh itu, apabila bekerjasama dengan Exo Anda mesti berpegang pada model sumber terbuka atau yang tersedia untuk kegunaan tempatanBagi kebanyakan aplikasi praktikal (chatbot, pembantu, analisis teks, penaakulan asas dan lanjutan) sudah terdapat katalog model sumber terbuka yang cukup berkuasa, terutamanya dengan evolusi model terkini seperti Llama 3.x, Qwen atau DeepSeek.

Kelebihan utama menggunakan kluster Exo

Kelebihan terbesar Exo ialah ia membolehkan pengurangan pelaburan perkakasan yang drastik.Daripada perlu membeli stesen kerja dengan GPU yang besar, anda boleh menggunakan semula komputer dan peranti yang sudah anda miliki di rumah atau di pejabat. Ramai pengguna boleh menyediakan kluster hanya dengan memanfaatkan Mac, PC lama dan peralatan lain yang kurang digunakan.

Pendekatan ini mendemokrasikan akses kepada AI canggihIni membolehkan syarikat baharu dan PKS yang mempunyai bajet yang ketat untuk bersaing dalam liga yang sebelum ini dikhaskan untuk syarikat yang mempunyai sumber yang mencukupi. Tidak semua projek mewajarkan penyewaan GPU yang mahal di awan, dan di situlah kluster tempatan sangat masuk akal.

Selain itu, Exo sangat fleksibel dari segi jenis perantiWalaupun sokongan paling matang kini terdapat pada macOS (menggunakan GPU) dan Linux (kini menggunakan CPU), projek ini bertujuan untuk mengintegrasikan jenis perkakasan lain dan meningkatkan keserasian secara taktikal. Keupayaan untuk mencampurkan profil mesin yang berbeza ini membolehkan anda mereka bentuk kluster mengikut keperluan khusus anda.

Satu lagi kelebihan utama ialah, hasil daripada seni bina teragihnya, Kluster boleh diskalakan dengan agak mudahJika anda memerlukan lebih banyak prestasi pada bila-bila masa, cuma tambahkan peranti lain yang menjalankan Exo. Setiap nod baharu akan dikesan secara automatik dan sumbernya akan ditambah kepada jumlah keseluruhan, tanpa anda perlu mereka bentuk semula sistem dari awal.

Akhirnya, pembahagian dinamik dan kesedaran topologi Mereka menjamin bahawa walaupun peranti dengan perkakasan sederhana boleh menyumbang sesuatu yang berguna. Walaupun komputer riba yang lebih lama tidak akan dapat menjalankan keseluruhan sistem sendiri, ia boleh mengendalikan sebahagian daripada beban kerja atau melakukan sebahagian daripada pengiraan, menyumbang kepada prestasi keseluruhan.

Had semasa dan perkara yang perlu dipertimbangkan

Tidak semuanya sempurna, dan Exo jelas kekal sebagai perisian eksperimental.Ini bermakna ralat, tingkah laku yang tidak stabil atau perubahan kerap dalam cara sistem dikonfigurasikan dan dijalankan mungkin masih berlaku. Ia bukanlah penyelesaian "tetapkan dan lupakan" pada tahap produk komersial yang matang.

Pada peranti iOS seperti iPhone dan iPad, Sokongan masih terhad Dan ia memerlukan pembangunan selanjutnya untuk benar-benar boleh digunakan oleh orang awam. Walaupun projek ini membayangkan untuk memanfaatkan peranti ini juga, pada masa ini sebahagian besar pengalaman lancar terdapat pada komputer.

Satu lagi faktor utama ialah Kecekapan keseluruhan kluster akan banyak bergantung pada rangkaian rumah.Jika anda mempunyai rangkaian Wi-Fi yang sesak, penghala yang ketinggalan zaman atau sambungan yang perlahan, pengedaran model yang besar merentasi berbilang nod boleh menjadi kesesakan yang ketara. Dalam persekitaran yang serius, hampir pasti anda akan menggunakan sambungan berwayar berkualiti tinggi atau, dalam kes Mac, Thunderbolt 5 dengan RDMA.

Tambahan pula, walaupun jumlah banyak peranti sederhana boleh mencapai angka memori yang mengagumkan, Mereka tidak akan sentiasa bersaing dalam prestasi mentah dengan sekumpulan GPU mewah.Terdapat keseimbangan yang halus antara kos penyelarasan, latensi rangkaian dan kuasa pengkomputeran yang berkesan yang mesti diambil kira.

Dengan semuanya, Cadangan nilai Exo kekal sangat menarik: mengubah peralatan sedia ada, pada kos perkakasan yang hampir sifar, menjadi kluster yang mampu menjalankan model yang sehingga baru-baru ini kelihatan eksklusif untuk pusat data khusus.

Pemasangan, keperluan dan kaedah pelaksanaan Exo

Untuk mengaktifkan dan menjalankan Exo pada macOS Adalah perkara biasa untuk menggunakan alatan seperti Homebrew untuk pengurusan pakej, serta uv untuk pengurusan kebergantungan Python, macmon untuk memantau perkakasan pada cip Apple Silicon, Node.js untuk membina panel kawalan web dan Rust (kini dalam versi malam) untuk menyusun pengikatan tertentu.

Aliran kerja biasa dalam macOS melalui klon repositori GitHub rasmiPasang kebergantungan dan jalankan arahan yang sepadan untuk memulakan Exo. Ini akan melancarkan API dan papan pemuka web yang boleh diakses secara setempat di alamat http://localhost:52415Dari situ anda boleh melihat status kluster, model, tika, dsb.

Selain pelaksanaan oleh terminal, Exo menawarkan aplikasi macOS asli Aplikasi ini berjalan di latar belakang. Ia memerlukan macOS Tahoe 26.2 atau lebih baharu dan diedarkan sebagai fail .dmg (contohnya, di bawah nama EXO-latest.dmg). Semasa pemasangan, ia mungkin meminta kebenaran untuk mengubah suai tetapan sistem tertentu dan menambah profil rangkaian, yang diperlukan untuk mendayakan ciri lanjutan seperti RDMA.

Dalam persekitaran Linux, pemasangan biasanya melibatkan penggunaan pengurus pakej sistem. (seperti apt pada Debian/Ubuntu) atau melalui Homebrew untuk Linux jika anda mahu. Perlu diingat bahawa sesetengah utiliti, seperti macmon, adalah khusus untuk macOS dan tidak digunakan pada Linux.

Buat masa ini, Dalam Linux, Exo berjalan pada CPUPada masa ini, tiada sokongan penuh untuk pemecut GPU. Pasukan pembangunan sedang berusaha untuk mengembangkan keserasian dengan platform perkakasan yang berbeza, jadi disyorkan untuk menyemak isu dan permintaan ciri di GitHub jika anda ingin tahu sama ada peranti khusus anda mungkin disokong pada masa hadapan.

Mengkonfigurasi RDMA melalui Thunderbolt pada macOS

Salah satu ciri baharu yang paling menarik bagi versi terkini macOS Ia merupakan penambahan sokongan RDMA, terutamanya melalui port Thunderbolt 5. Ciri ini penting untuk meminimumkan kependaman antara Mac yang disambungkan secara fizikal, yang sangat berharga apabila mengedarkan model LLM.

RDMA tersedia bermula dengan macOS 26.2 dan Ia berfungsi pada peranti dengan Thunderbolt 5 seperti M4 Pro Mac mini, M4 Max Mac Studio, M4 Max MacBook Pro atau M3 Ultra Mac Studio. Walau bagaimanapun, dalam kes khusus Mac Studio, anda harus mengelakkan penggunaan port Thunderbolt 5 yang terletak di sebelah port Ethernet, kerana ia mempunyai batasan tertentu untuk RDMA.

Untuk mengaktifkan RDMA, Adalah perlu untuk mengikuti proses dalam mod PemulihanLangkah asas melibatkan mematikan Mac, menghidupkannya dengan menekan butang kuasa selama kira-kira 10 saat sehingga menu muncul. boot, pilih pilihan “Pilihan” untuk memasuki persekitaran pemulihan dan buka Terminal daripada menu Utiliti.

Di dalam terminal pemulihan itu, Perintah yang ditunjukkan dalam dokumentasi Exo dilaksanakan untuk mendayakan RDMA pada peringkat sistem. Selepas menekan Enter dan memulakan semula Mac, fungsi diaktifkan dan Exo boleh menggunakannya untuk mewujudkan pautan latensi yang sangat rendah antara Mac berbeza yang disambungkan melalui Thunderbolt 5.

Dari situ, Exo menguruskan bahagian yang kompleksMemanfaatkan RDMA untuk meminimumkan kelewatan pemindahan data antara nod. Penambahbaikan dalam komunikasi dalaman ini amat penting apabila bekerja dengan model yang mengandungi ratusan bilion parameter yang dipecah-pecahkan merentasi berbilang mesin.

Berinteraksi dengan Exo melalui API dan panel web

Selain papan pemuka grafik di http://localhost:52415Exo mendedahkan API REST yang membolehkan anda mengurus hampir keseluruhan kitaran hayat model: memilih tempat untuk meletakkannya, mencipta contoh, melancarkan permintaan sembang dan melepaskan sumber apabila ia tidak lagi diperlukan.

Aliran biasa mungkin bermula dengan menanyakan titik akhir /contoh/pratontonApabila anda menghantar parameter model yang ingin anda gunakan, perkhidmatan ini akan mengembalikan semua penempatan yang sah untuk model tersebut dalam kluster andaIa akan menjadi seperti senarai "pelan pelaksanaan" yang mungkin berdasarkan topologi dan sumber semasa.

Berdasarkan respons daripada pratonton tersebut, Anda memilih susun atur yang paling sesuai dengan anda. (contohnya, yang pertama dalam senarai, yang boleh anda pilih dengan alat seperti jq dari terminal) dan gunakannya untuk membuat permintaan POST ke titik akhir /contohMuatan untuk permintaan ini mesti mematuhi jenis yang ditakrifkan dalam CreateInstanceParams, termasuk parameter seperti model, konfigurasi perkakasan dan nod yang ditetapkan.

Sebaik sahaja contoh itu dibuat, Anda boleh berinteraksi dengannya menggunakan titik akhir yang serasi dengan API OpenAI, sebagai contoh /v1/sembang/penyelesaianStruktur permintaan JSON hampir sama seperti yang digunakan dengan ChatGPT API, menjadikannya sangat mudah untuk menyesuaikan aplikasi sedia ada untuk menghala ke kluster Exo anda dan bukannya awan.

Apabila anda tidak lagi memerlukan model tertentu, Anda boleh melepaskannya dengan menghantar permintaan DELETE dengan ID contohyang boleh anda temui dengan menanyakan titik akhir seperti /negeri o /contohSebaliknya, adalah berguna untuk mempunyai isyarat pantas, seperti /model, yang menyenaraikan semua model yang tersedia secara setempat, atau arahan /state itu sendiri, yang memperincikan status penggunaan semasa.

Status projek dan komuniti pembangunan

Exo dihoskan di GitHub di bawah repositori exo-explore/exo Ia dibangunkan secara terbuka, dengan sumbangan daripada pasukan teras Exo Labs dan komuniti. Fail CONTRIBUTING.md menggariskan garis panduan untuk menyumbang, menghantar permintaan tarik, melaporkan pepijat dan mencadangkan ciri baharu.

Sejak itu Ia adalah projek hidup, sentiasa berkembangIa adalah perkara biasa untuk versi baharu, penambahbaikan keserasian dengan model dan platform perkakasan yang berbeza, dan perubahan dalam cara komponen tertentu dikonfigurasikan untuk dikeluarkan. Oleh itu, adalah dinasihatkan untuk menyemak dokumentasi dan isu terbuka dengan kerap.

Mengenai keserasian dengan pemecut, macOS kini menikmati sokongan yang lebih canggih hasil daripada penggunaan GPU dan MLXWalaupun di Linux, ia kini beroperasi pada CPU. Pasukan ini telah menggalakkan pengguna yang berminat untuk melihat sokongan untuk jenis perkakasan baharu untuk membuka atau menyokong permintaan sedia ada dengan reaksi di GitHub, supaya mereka boleh mengutamakan platform mana yang paling mendapat permintaan.

Dari sudut ekonomi, Exo adalah percuma sepenuhnya dan sumber terbukaTiada lesen berbayar yang berkaitan dengan penggunaan perisian ini, yang sangat sesuai dengan projek peribadi, pendidikan atau perniagaan kecil yang ingin bereksperimen dengan AI secara serius tanpa bajet yang besar.

Exo sedang mengukuhkan kedudukannya sebagai pemain utama dalam pendemokrasian AI termaju.Ini membolehkan sesiapa sahaja yang mempunyai berbilang peranti di rumah atau di pejabat untuk menyediakan kluster model bahasa mereka sendiri. Walaupun masih banyak lagi yang perlu dilakukan, kemungkinan yang terbuka luas untuk automasi rumah, pembantu peribadi, analitik data dan persekitaran ujian untuk model moden.