- Exo는 클러스터를 설정할 수 있도록 해주는 오픈 소스 소프트웨어입니다. IA 일상적인 기기를 사용하여 네트워크로 연결된 여러 컴퓨터에 LLM 모델을 분산시킵니다.
- 이 플랫폼은 자동 장치 검색, 썬더볼트 5를 통한 RDMA 지원, 그리고 CPU, GPU 및 메모리 사용량을 최적화하는 동적 모델 파티셔닝 기능이 돋보입니다.
- 특히 GPU와 MLX가 탑재된 macOS에서 매우 잘 작동합니다. Linux 현재는 CPU에서 실행되며, 향후 지원 범위를 확장할 계획입니다. 하드웨어.
- Exo는 Home Assistant와 같은 프로젝트, 중소기업, 그리고 클라우드에 의존하거나 고성능 GPU에 투자하지 않고도 로컬에서 고급 AI를 실행하려는 개발자에게 이상적입니다.
대규모 언어 모델의 로컬 실행 (LLM)은 일반적으로 거대한 컴퓨터, 매우 비싼 그래픽 카드, 그리고 과도한 에너지 소비와 연관됩니다. 그러나 최근 몇 달 동안 많은 관심을 끄는 대안이 등장했습니다. Exo는 여러 가정용 기기를 AI 클러스터로 전환하는 소프트웨어입니다. 클라우드에 의존하지 않고도 매우 까다로운 모델을 실행할 수 있습니다.
엑소와 함께, 이 아이디어는 컴퓨터의 성능을 모으는 것입니다. 노트북휴대폰 및 기타 연결된 기기 이렇게 자원을 결합하면 일반적으로 전문 데이터 센터에서만 볼 수 있는 LLM(Long-Term Management)을 실행할 수 있습니다. 이는 가정에서 일종의 "미니 데이터 센터"를 구축할 수 있는 가능성을 열어주며, 홈 어시스턴트와 같은 로컬 비서 프로젝트, 비용 부담 없이 AI를 실험하려는 중소기업, 또는 일반적인 클라우드 테스트 수준을 넘어서고자 하는 개발자에게 이상적입니다.
Exo는 무엇이며, 어떤 문제를 해결하고자 하는가?
Exo는 오픈 소스 실험용 소프트웨어입니다.Exo Labs에서 관리하며, 주요 목표는 사용자가 직접 구축할 수 있도록 지원하는 것입니다. 클러스터 인공 지능 집에서 일상적인 기기를 사용합니다. Exo는 많은 VRAM을 가진 단일 GPU에 의존하는 대신, 동일한 네트워크에 연결된 여러 기기에 모델을 분산시킵니다.
엑소의 전제는 단순하지만 매우 강력하다.평소에 사용하시는 기기들—맥북, iPhoneiPad, Linux PC, 심지어 특정 단일 보드 컴퓨터(SBC)도 협력하여 대규모 AI 모델을 실행할 수 있습니다. 각 기기는 메모리와 컴퓨팅 성능을 제공하고, 소프트웨어는 모든 것을 하나의 더 큰 기계처럼 작동하도록 조율합니다.
엑소는 매우 흔한 한계에 대한 대응으로 탄생했습니다.모든 사람이 고성능 GPU를 사용할 수 있는 것은 아닙니다. NVIDIA 24GB의 VRAM과 수십 기가바이트의 RAM을 갖춘 RTX 3090. Llama 3.1 70B와 같은 "보통" 모델을 괜찮은 로컬 성능으로 실행하려면 많은 개발자, 메이커 또는 소규모 기업의 예산을 넘어서는 고가의 하드웨어가 필요합니다.
엄청난 장비를 구입하거나 클라우드에만 의존하도록 강요하는 대신, Exo는 여러 개의 비교적 저렴한 기기에서 사용 가능한 메모리를 결합하는 방식을 제안합니다. 이를 통해 전체 모델이 클러스터 내에 완벽하게 통합됩니다. 이는 첨단 AI를 활용한 실험에 대한 접근성을 크게 민주화하며, 특히 스타트업과 중소기업에 매우 유용합니다.

Exo의 기술적 작동 방식
Exo의 핵심은 LLM 모델을 배포하는 능력에 있습니다. 가정이나 사무실 네트워크에서 사용 가능한 모든 장치에 걸쳐 작동합니다. Exo는 전체 모델을 단일 컴퓨터에 로드하는 대신, 모델을 분할하여 각 노드의 메모리와 컴퓨팅 성능을 결합하여 분산합니다.
만들다, Exo는 분산 공유 메모리 방식을 사용합니다.각 기기에 탑재되는 모델의 일부를 사용 가능한 메모리 용량(RAM 및 macOS의 경우 GPU VRAM)에 따라 조정함으로써, 일반적으로 매우 강력한 GPU가 필요한 모델도 전체 클러스터 메모리가 충분하다면 노트북, 데스크톱 및 기타 기기에서 실행할 수 있습니다.
이 과정은 호환되는 기기에 Exo를 설치하는 것으로 시작됩니다.많은 경우, 그것은 다음을 필요로 합니다. Python 3.12 버전 이상과 더불어 종속성 관리자 및 컴파일러와 같은 다른 도구들이 필요합니다. 서비스가 실행되면 Exo를 실행하는 장치들은 그들은 자동으로 서로를 발견합니다. 동일 네트워크 내에서 IP 주소나 포트를 수동으로 설정할 필요 없이 사용할 수 있습니다.
노드 간 내부 통신은 연결을 기반으로 합니다. 피어 - 투 - 피어이는 단일하고 경직된 중앙 서버에 의존하지 않고 각 머신이 가능한 만큼 기여하는 아키텍처를 선호합니다. Exo는 이러한 토폴로지를 기반으로 리소스 및 지연 시간 분석을 수행하여 모델을 어떻게 분할하고 각 조각을 어디에 배치할지 결정합니다.
핵심 요소 중 하나는 모델의 동적 분할입니다.Exo는 클러스터 토폴로지, 각 장치의 리소스(메모리, CPU, GPU) 및 네트워크 링크 품질(노드 간 지연 시간, 대역폭)에 대한 실시간 정보를 얻습니다. 이러한 정보를 바탕으로 부하 분산 및 병목 현상 최소화를 위해 모델을 어떻게 분할할지 자동으로 결정합니다.
Exo의 주요 기술적 특징
Exo 프로젝트는 이를 최대한 활용할 수 있도록 설계된 여러 기능을 통합하고 있습니다. 사용 가능한 하드웨어를 활용하여 사용자의 편의성을 높입니다. 가장 주목할 만한 점은 다음과 같습니다.
자동 장치 검색Exo를 실행하는 장치들은 네트워크 구성을 건드리지 않고도 서로를 찾을 수 있습니다. 따라서 노드들이 서로를 인식하도록 고정 IP 주소, 수동 포트 설정 또는 사용자 지정 스크립트를 작성해야 하는 일반적인 골칫거리를 피할 수 있습니다.
썬더볼트를 통한 RDMA 지원가장 눈에 띄는 점 중 하나는 EXO가 다음과 같은 특징을 가지고 있다는 것입니다. 썬더볼트 5를 통한 RDMA(원격 직접 메모리 액세스)와의 출시 당일부터의 호환성이러한 접근 방식을 통해 기존 통신 방식에 비해 장치 간 지연 시간을 최대 99%까지 줄일 수 있으며, 이는 동일 모델의 부품을 여러 대의 기기에 분산하여 사용할 때 매우 중요합니다.
텐서 병렬성Exo는 기술을 구현합니다. 텐서 병렬 처리즉, 모델의 텐서를 여러 장치에 분산시키는 방식입니다. 덕분에 특정 구성에서는 동일한 리소스를 가진 단일 장치에서 모델을 실행할 때와 비교하여 두 장치를 사용할 경우 최대 1,8배, 네 장치를 사용할 경우 최대 3,2배의 속도 향상이 보고되었습니다.
의식적인 위상수학과 자기병렬화이 시스템은 각 노드의 성능과 노드 간 연결 품질을 모두 고려하여 모델을 분할하고 클러스터 전체에 분산하는 최적의 방법을 자동으로 계산합니다. "토폴로지 인식 자동 병렬 처리" 사용자가 모든 것을 수동으로 조정해야 하는 필요성을 줄여줍니다.
macOS에서의 MLX 통합 및 GPU 지원macOS에서 Exo는 다음을 사용합니다. MLX를 추론 백엔드로 사용 또한 분산 통신을 위해 MLX Distributed를 사용합니다. 이를 통해 Apple Silicon 칩에 통합된 GPU를 활용할 수 있으며, 이는 특히 다음과 같은 기기에서 유용합니다. Mac 스튜디오용 또는 최신형 맥북 프로.
맥에서의 실제 사용 사례 및 성능
Exo는 매우 까다로운 환경에서 테스트를 거쳤습니다. 여러 대의 고성능 Mac을 결합하여 텐서 병렬 처리와 Thunderbolt 5를 통한 RDMA를 모두 활용함으로써, 일반적으로 데이터 센터 환경에서만 볼 수 있는 거대한 모델을 실행할 수 있었습니다.
커뮤니티에서 논의된 한 가지 예는 다음과 같습니다. M3 Ultra 칩이 탑재된 Mac Studio 4대 썬더볼트 5와 RDMA로 연결되어 있으며, 이들을 합치면 약 15TB의 유효 VRAM을 제공하여 매우 큰 모델을 지원할 수 있습니다.
이러한 설정에서 구현된 모델 중 다음과 같은 모델들이 두드러집니다. 8비트 Qwen3-235B, DeepSeek v3.1 671B도 8비트로 양자화되었습니다. 또는 Kimi K2는 네이티브 4비트 방식으로 생각합니다.이 모든 경우에 각 Mac은 모델의 일부를 호스팅하며 노드 간 통신은 RDMA를 사용하여 최적화됩니다.
이러한 실험들은 제프 기어링과 같은 창작자들에 의해 기록되었습니다.이를 통해 방대한 양의 유효 비디오 메모리를 갖춘 홈 환경 구성이 가능하다는 것을 보여주었습니다. 이 시나리오에서 Exo는 여러 대의 머신에 분산되어 있음에도 불구하고 모델이 일관되게 작동할 수 있도록 하는 오케스트레이션 계층 역할을 합니다.
이러한 극단적인 구성 외에도, 이와 같은 원리는 보다 소박한 용도에도 적용될 수 있다.예를 들어, 고급 홈 자동화 시스템의 두뇌 역할을 하는 대규모 언어 모델, 개인 대화형 비서 또는 소규모 기업 내 텍스트 분석 도구에 데이터를 제공하는 데 사용할 수 있습니다.
Exo를 Home Assistant 및 고급 홈 자동화 기능과 함께 사용하기
Home Assistant 커뮤니티에서는 이미 Exo에 대한 이야기가 나오고 있습니다. 이는 홈 자동화 시스템의 추론 엔진 역할을 하는 대규모 LLM(로컬 러닝 모델)을 로컬에서 실행할 수 있는 옵션으로 제시되고 있습니다. 아직 많은 사람들이 직접 사용해 보지는 않았지만, 이 프로젝트는 다음과 같은 가능성을 제시하기 때문에 주목을 받고 있습니다. 상대적으로 사양이 낮은 하드웨어에서 매우 고사양 모델을 구동하는 경우충분한 수의 팀들이 한데 모인다면 말입니다.
요점은 다음과 같습니다. 강력한 GPU나 클라우드에 의존하는 대신에전용 GPU가 없더라도 여러 대의 컴퓨터로 클러스터를 구성할 수 있습니다. Exo는 모델을 모든 컴퓨터에 분산시켜 Home Assistant가 로컬 LLM을 참조하여 더 복잡한 결정을 내리거나 더 자연스러운 응답을 제공할 수 있도록 합니다.
이러한 접근 방식은 특히 개인 정보 보호를 중시하는 사람들에게 매력적입니다.가구 데이터는 로컬 네트워크를 벗어날 필요가 없으므로 모든 추론 및 자연어 처리는 외부 서버에 의존하지 않고 설정한 클러스터 내에서 수행됩니다.
해당 프로젝트는 CNX Software와 같은 기술 블로그에서 주목을 받았습니다. Exo는 컴퓨터 클러스터, 스마트폰 또는 개발 보드에서도 실행될 수 있다는 점이 강조됩니다.하지만 실제로는 현재 macOS와 Linux에서 가장 완성도 높은 지원이 제공되지만, 여전히 몇 가지 제한 사항이 존재합니다. iOS.
많은 홈 자동화 애호가들에게 있어, Exo와 Home Assistant의 조합 이는 클라우드 토큰 비용을 지불하거나 제3자에게 의존하지 않고도 고급스럽고 항상 작동하며 완전히 로컬 환경에서 작동하는 대화형 비서를 구축하는 데 필요한 핵심 요소가 될 수 있습니다.
호환 가능한 AI 모델 및 독점 모델의 한계점
Exo는 다수의 인기 있는 AI 모델과 호환됩니다.특히 개방형 생태계에 속하며 다운로드하여 로컬에서 실행할 수 있는 것들이 그렇습니다. 여기에는 LLaMA, Mistral, LLaVA, Qwen, DeepSeek 등의 제품군이 포함됩니다.
특정 경우 메타의 라마 3Exo는 이러한 아키텍처와 특히 잘 작동하며 클러스터 리소스에 따라 다양한 크기의 변형을 지원합니다. 이를 통해 개인 실험가와 소규모 기업 모두 라이선스 비용을 지불하거나 타사 API에 의존하지 않고도 최신 언어 모델을 쉽게 사용할 수 있습니다.
또 다른 흥미로운 장점은 호환 가능한 API를 공개할 수 있다는 점입니다. ChatGPT몇 가지 조정을 거치면 Exo를 사용하여 클러스터에서 실행되는 모델이 API와 유사한 형식으로 요청을 수락할 수 있습니다. OpenAI이는 해당 표준을 이미 사용하는 애플리케이션과의 통합을 크게 간소화합니다.
그러나, GPT-4와 같은 독자적인 모델에 대해 이야기할 때 분명한 한계가 있습니다.GPT-4는 OpenAI 인프라에 호스팅된 폐쇄형 모델이며 다운로드할 수 없습니다. 즉, OpenAI 외부의 Exo 또는 다른 로컬 환경에서 실행할 수 없습니다.
따라서 Exo와 협업할 때는 오픈 소스 모델이나 로컬에서 사용 가능한 모델을 고수해야 합니다.대부분의 실제 응용 분야(챗봇, 비서, 텍스트 분석, 기본 및 고급 추론)의 경우, 특히 Llama 3.x, Qwen 또는 DeepSeek과 같은 모델의 최근 발전으로 인해 이미 충분히 강력한 오픈 소스 모델 카탈로그가 존재합니다.
Exo 클러스터 사용의 주요 이점
Exo의 가장 큰 장점은 하드웨어 투자 비용을 획기적으로 줄일 수 있다는 점입니다.고성능 GPU가 탑재된 워크스테이션을 새로 구입하는 대신, 집이나 사무실에 이미 있는 컴퓨터와 기기를 재활용할 수 있습니다. 많은 사용자가 맥, 구형 PC, 그리고 활용도가 낮은 다른 장비들을 활용하여 간단하게 클러스터를 구축할 수 있습니다.
이 접근법 첨단 AI에 대한 접근성을 민주화합니다이를 통해 예산이 부족한 스타트업과 중소기업도 이전에는 자원이 풍부한 대기업만 누릴 수 있었던 경쟁에 참여할 수 있습니다. 모든 프로젝트에 클라우드에서 값비싼 GPU를 임대할 필요가 있는 것은 아니며, 바로 그런 경우에 로컬 클러스터가 매우 유용합니다.
또한, Exo는 기기 유형 측면에서 매우 유연합니다.현재 macOS(GPU 사용)와 Linux(CPU 사용)에서 가장 안정적인 지원이 이루어지고 있지만, 이 프로젝트는 다른 유형의 하드웨어도 통합하고 호환성을 전략적으로 개선하는 것을 목표로 합니다. 다양한 머신 프로필을 조합할 수 있는 이 기능을 통해 사용자는 특정 요구 사항에 맞춰 클러스터를 설계할 수 있습니다.
또 다른 핵심적인 장점은 분산형 아키텍처 덕분에, 클러스터는 비교적 쉽게 확장할 수 있습니다.성능 향상이 필요할 경우, Exo를 실행하는 장치를 추가하기만 하면 됩니다. 새 노드는 자동으로 감지되어 전체 리소스에 추가되므로 시스템을 처음부터 다시 설계할 필요가 없습니다.
마지막으로, 동적 파티셔닝 및 토폴로지 인식 그들은 하드웨어 사양이 다소 떨어지는 기기라도 유용한 기여를 할 수 있음을 보장합니다. 오래된 노트북이 시스템 전체를 단독으로 구동할 수는 없겠지만, 일부 작업 부하를 처리하거나 계산을 수행하여 전반적인 성능 향상에 기여할 수 있습니다.
현재의 한계점 및 고려 사항
모든 것이 완벽한 것은 아니며, Exo는 여전히 실험적인 소프트웨어임이 분명합니다.이는 시스템 구성 및 실행 방식에 오류, 불안정한 동작 또는 잦은 변경이 여전히 발생할 수 있음을 의미합니다. 이는 성숙한 상용 제품 수준의 "설정 후 잊어버리는" 솔루션이 아닙니다.
아이폰과 아이패드 같은 iOS 기기에서는, 지원은 아직 제한적입니다. 일반 대중이 실제로 사용할 수 있게 되려면 추가적인 개발이 필요합니다. 이 프로젝트는 이러한 기기들을 활용하는 것도 구상하고 있지만, 현재로서는 대부분의 원활한 사용 경험은 컴퓨터에서 제공됩니다.
또 다른 핵심 요소는 다음과 같습니다. 클러스터의 전반적인 효율성은 홈 네트워크에 크게 좌우됩니다.Wi-Fi 네트워크가 혼잡하거나, 라우터가 구형이거나, 연결 속도가 느린 경우, 대형 모델을 여러 노드에 분산시키면 상당한 병목 현상이 발생할 수 있습니다. 전문적인 환경에서는 고품질 유선 연결을 사용하거나, Mac의 경우 RDMA를 지원하는 Thunderbolt 5를 사용하는 것이 거의 필수적입니다.
게다가, 여러 개의 평범한 장치들을 합치면 인상적인 메모리 용량을 달성할 수 있지만, 고성능 GPU 클러스터와 순수 성능 면에서 항상 경쟁할 수는 없을 것입니다.조정 비용, 네트워크 지연 시간, 효과적인 컴퓨팅 성능 사이에는 미묘한 균형이 존재하며, 이를 반드시 고려해야 합니다.
모든 것과 함께, 엑소의 가치 제안은 여전히 매우 흥미롭습니다.기존 장비를 사실상 하드웨어 비용 없이, 최근까지 전문 데이터 센터에서만 가능해 보였던 모델들을 실행할 수 있는 클러스터로 변환하는 것입니다.
Exo 설치, 요구 사항 및 실행 방법
macOS에서 Exo를 실행하려면 일반적으로 패키지 관리를 위해 Homebrew와 같은 도구를 사용하고, Python 종속성 관리를 위해 uv를, Apple Silicon 칩의 하드웨어 모니터링을 위해 macmon을, 웹 제어판 구축을 위해 Node.js를, 특정 바인딩 컴파일을 위해 Rust(현재 나이틀리 버전)를 사용합니다.
macOS에서의 일반적인 작업 흐름은 다음과 같습니다. 공식 GitHub 저장소를 복제하세요필요한 구성 요소를 설치하고 해당 명령어를 실행하여 Exo를 시작하세요. 그러면 API와 로컬에서 접근 가능한 웹 대시보드가 다음 주소에서 실행됩니다. http://localhost:52415여기에서 클러스터, 모델, 인스턴스 등의 상태를 확인할 수 있습니다.
실행에 더하여 단말기, Exo는 macOS용 네이티브 앱을 제공합니다. 이 앱은 백그라운드에서 실행됩니다. macOS Tahoe 26.2 이상이 필요하며 .dmg 파일(예: EXO-latest.dmg) 형식으로 배포됩니다. 설치 과정에서 특정 시스템 설정을 수정하고 네트워크 프로필을 추가할 권한을 요청할 수 있으며, 이는 RDMA와 같은 고급 기능을 활성화하는 데 필요합니다.
리눅스 환경에서 설치는 일반적으로 시스템의 패키지 관리자를 사용하는 방식으로 진행됩니다. (데비안/우분투의 apt처럼) 또는 원한다면 리눅스의 경우 Homebrew를 통해 설치할 수 있습니다. macmon과 같은 일부 유틸리티는 macOS 전용이며 리눅스에서는 사용할 수 없다는 점에 유의하세요.
잠시 동안, 리눅스에서 Exo는 CPU에서 실행됩니다.현재 GPU 가속기에 대한 완벽한 지원은 제공되지 않습니다. 개발팀은 다양한 하드웨어 플랫폼과의 호환성을 확장하기 위해 노력하고 있으므로, 특정 기기가 향후 지원될 가능성이 있는지 확인하려면 GitHub에서 관련 문제 및 기능 요청을 확인하는 것이 좋습니다.
macOS에서 Thunderbolt를 통한 RDMA 구성
최신 macOS 버전의 가장 눈에 띄는 새로운 기능 중 하나입니다. 특히 썬더볼트 5 포트를 통한 RDMA 지원이 추가되었습니다. 이 기능은 물리적으로 연결된 Mac 간의 지연 시간을 최소화하는 데 매우 중요하며, LLM 모델을 배포할 때 특히 유용합니다.
RDMA는 macOS 26.2부터 사용할 수 있습니다. 썬더볼트 5를 지원하는 기기에서 작동합니다. M4 Pro Mac mini, M4 Max Mac Studio, M4 Max MacBook Pro 또는 M3 Ultra Mac Studio와 같은 모델에서 사용 가능합니다. 하지만 Mac Studio의 경우, 이더넷 포트 옆에 있는 Thunderbolt 5 포트는 RDMA에 대한 특정 제한 사항이 있으므로 사용을 피해야 합니다.
RDMA를 활성화하려면, 복구 모드에서 절차를 따라야 합니다.기본적인 단계는 Mac을 종료한 다음, 전원 버튼을 약 10초 동안 길게 눌러 메뉴가 나타날 때까지 기다린 후 Mac을 켜는 것입니다. 부팅복구 환경으로 들어가려면 "옵션" 옵션을 선택하고 유틸리티 메뉴에서 터미널을 여십시오.
해당 복구 단말기 내에서, Exo 설명서에 나와 있는 명령이 실행됩니다. 시스템 수준에서 RDMA를 활성화합니다. Enter 키를 누르고 Mac을 재시동하면 해당 기능이 활성화되어 Exo는 이를 사용하여 Thunderbolt 5를 통해 연결된 여러 Mac 간에 매우 낮은 지연 시간의 링크를 설정할 수 있습니다.
거기서부터 엑소가 복잡한 부분을 처리합니다.RDMA를 활용하여 노드 간 데이터 전송 지연을 최소화합니다. 이러한 내부 통신 개선은 수천억 개의 매개변수를 포함하고 여러 대의 머신에 분산된 모델을 다룰 때 특히 중요합니다.
API 및 웹 패널을 통해 Exo와 상호 작용하세요.
http://localhost:52415에 있는 그래픽 대시보드 외에도Exo는 모델의 전체 수명 주기를 사실상 관리할 수 있는 REST API를 제공합니다. 모델 배치 위치 선택, 인스턴스 생성, 채팅 요청 시작, 더 이상 필요하지 않을 때 리소스 해제 등이 가능합니다.
일반적인 흐름은 엔드포인트에 쿼리를 보내는 것으로 시작될 수 있습니다. /인스턴스/미리보기배포하려는 모델의 매개변수를 전송하면 이 서비스는 해당 값을 반환합니다. 클러스터 내 해당 모델에 대한 모든 유효한 배치 위치이는 현재 토폴로지와 리소스를 기반으로 한 가능한 "배포 계획" 목록과 같은 것일 것입니다.
해당 시사회에 대한 반응을 바탕으로, 본인에게 가장 적합한 레이아웃을 선택하세요. (예를 들어, 터미널에서 jq와 같은 도구를 사용하여 선택할 수 있는 목록의 첫 번째 항목)을 사용하여 해당 엔드포인트로 POST 요청을 보냅니다. /사례이 요청의 페이로드는 모델, 하드웨어 구성 및 할당된 노드와 같은 매개변수를 포함하여 CreateInstanceParams에 정의된 유형을 준수해야 합니다.
인스턴스가 생성되면, OpenAI API와 호환되는 엔드포인트를 사용하여 상호 작용할 수 있습니다.예를 들어 /v1/채팅/완료JSON 요청 구조는 ChatGPT API에서 사용되는 구조와 거의 동일하므로 기존 애플리케이션을 클라우드 대신 Exo 클러스터를 가리키도록 쉽게 수정할 수 있습니다.
특정 모델이 더 이상 필요하지 않을 때, 인스턴스 ID를 포함한 DELETE 요청을 보내면 해당 인스턴스를 해제할 수 있습니다.다음과 같은 엔드포인트를 쿼리하여 찾을 수 있습니다. /상태 o /사례반면에, 다음과 같은 빠른 신호를 준비해 두는 것이 유용합니다. /모델로컬에서 사용 가능한 모든 모델을 나열하는 명령어나 현재 배포 상태를 자세히 보여주는 /state 명령어를 사용할 수 있습니다.
프로젝트 현황 및 개발 커뮤니티
Exo는 GitHub의 exo-explore/exo 저장소에서 호스팅됩니다. 이 프로젝트는 Exo Labs 핵심 팀과 커뮤니티 모두의 기여를 통해 공개적으로 개발됩니다. CONTRIBUTING.md 파일에는 기여, 풀 리퀘스트 제출, 버그 보고 및 새로운 기능 제안에 대한 지침이 설명되어 있습니다.
점을 감안할 때 이는 끊임없이 진화하는 살아있는 프로젝트입니다.새로운 버전 출시, 다양한 하드웨어 모델 및 플랫폼과의 호환성 개선, 특정 구성 요소의 설정 변경 등은 흔히 있는 일입니다. 따라서 문서와 공개된 이슈를 자주 검토하는 것이 좋습니다.
가속기와의 호환성과 관련하여, macOS는 현재 GPU와 MLX를 활용하여 더욱 향상된 지원을 제공하고 있습니다.리눅스 환경에서는 현재 CPU로 작동합니다. 개발팀은 새로운 하드웨어 지원을 원하는 사용자들에게 GitHub에서 요청을 제출하거나 기존 요청에 반응을 남겨달라고 권장하고 있으며, 이를 통해 어떤 플랫폼에 대한 수요가 가장 높은지 우선순위를 정할 수 있도록 하고 있습니다.
경제적 관점에서 보면, Exo는 완전 무료 오픈 소스 소프트웨어입니다.이 소프트웨어는 유료 라이선스가 필요 없으므로, 큰 예산 없이 AI를 진지하게 실험해보고 싶은 개인, 교육 기관 또는 소규모 사업 프로젝트에 매우 적합합니다.
Exo는 첨단 AI의 민주화에 있어 핵심적인 역할을 하는 기업으로 자리매김하고 있습니다.이를 통해 가정이나 사무실에서 여러 기기를 보유한 사람이라면 누구나 자신만의 언어 모델 클러스터를 구성할 수 있습니다. 아직 갈 길이 멀지만, 홈 자동화, 개인 비서, 데이터 분석, 최신 모델 테스트 환경 등 다양한 분야에서 활용 가능성이 무궁무진합니다.
바이트와 기술 전반에 관한 세계에 대한 열정적인 작가입니다. 나는 글쓰기를 통해 내 지식을 공유하는 것을 좋아하며 이것이 바로 이 블로그에서 할 일이며 가젯, 소프트웨어, 하드웨어, 기술 동향 등에 관한 가장 흥미로운 모든 것을 보여 드리겠습니다. 제 목표는 여러분이 간단하고 재미있는 방식으로 디지털 세계를 탐색할 수 있도록 돕는 것입니다.