如何使用 AMD GAIA：本地運行 LLM 的完整指南

La 人工智能 生成技術正在經歷一個美好的時刻，隨之而來的是，在家中運行大型語言模型的需求急劇上升；在這種背景下， AMD GAIA 似乎是一種簡單的方法 在本地運行 LLM無需依賴雲，並增強資料隱私。此開源提案專為 Windows 設計，可在普通電腦上運行，並且當 硬件 Ryzen AI 利用 NPU 甚至 iGPU 來加速推理。

如果您擔心發送到外部伺服器的內容或您厭倦了等待，那麼這個項目對您來說就像天籟之音，因為 GAIA 提供更低的延遲、更好的控制和高度優化的效能 手提 採用 AMD Ryzen AI 300 系列。此外，它依賴 Lemonade SDK 來公開與 Lemonade API 相容的 Web 服務。 OpenAI，整合了 RAG 管道來情境化回應並讓代理從第一分鐘開始準備工作。

什麼是 AMD GAIA？它到底提供什麼功能？

GAIA 是 面向開源的安裝和運行應用程式 生成式人工智能 直接在您的 Windows PC 上執行。它的設計使得任何人都可以運行 LLM（例如 Llama 系列及其衍生產品），而無需設置複雜的基礎架構或將敏感資訊發送到雲端。

它的最大優點是 充分利用 Ryzen AI 的神經處理單元 (NPU) 在混合模式下，它將 NPU 與整合 GPU (iGPU) 結合，以分配負載並進一步加速推理。在相容的機器上，Ryzen AI 300 NPU 可提供高達 50 TOPS 的運算能力，從而實現流暢、高效的自然語言處理任務。

同時，該專案也考慮了一條通用路徑： 適用於任何 Windows PC 的通用安裝程序，無論是否為 AMD 處理器。此模式使用 Ollama 作為後端來運行模型，因此即使您的電腦沒有專用的加速器硬件，您也可以嘗試 GAIA。

為了豐富答案，GAIA 重點關注 恢復增強發電（RAG）這允許檢索相關資訊、基於附加上下文進行推理、規劃並在真正互動的聊天體驗中部署外部工具。目前，該計畫已包含四個開箱即用的代理，並在社區支持下將陸續推出更多代理。

技術架構：Lemonade SDK、RAG 和 GAIA 元件

技術基礎基於 Lemonade SDK（TurnkeyML/ONNX），它為 LLM 特定任務提供實用程式：提示、精度測量和跨多個執行時間（例如，Hugging Face 或 ONNX Runtime GenAI API）和硬體（CPU、iGPU 和 NPU）的服務。

在這個方案中， Lemonade 公開了一個 LLM Web 服務，其中包含與 OpenAI 相容的 REST API，GAIA 使用該服務來協調體驗。在 GAIA 中，我們發現 三個關鍵區塊 與 RAG 管道完美契合：

• LLM連接器：將 NPU 服務 Web API 與基於 LlamaIndex 的 RAG 管道連接起來，管理呼叫和提示格式。
• 帶有 LlamaIndex 的 RAG 管道：包括查詢引擎和向量記憶體，負責處理和儲存來自外部來源的相關上下文。
• 代理Web伺服器：透過 WebSocket 連接到 GAIA 接口， 允許即時互動 與用戶。

工作流程清晰，提高準確性： 您的查詢已向量化，從本地索引中檢索相關上下文，將該上下文注入到 LLM 提示中，最後， 響應由 流 到 UI。因此，每個請求都會豐富模型並提高回應的品質。

安裝程序和操作模式

GAIA 提供兩種版本以滿足您的硬體和需求： 混合安裝程式 y 通用安裝程式這個想法是，您可以在配備最新一代 Ryzen AI 的筆記型電腦或標準 Windows PC 上使用它。

• 混合模式（Ryzen AI 300系列）：結合 NPU 和 iGPU，最大程度提升效能和效率。在推理工作負載中， 每個單位都發揮自己的優勢 （例如量化操作和特定內核），實現更快的響應和更低的功耗。
• 通用模式（任何 Windows PC）: 是通用方法。它使用 Ollama 作為後端 為 LLM 提供服務，使任何人都可以輕鬆啟動 GAIA，而無需特殊的硬體需求。

一個實際的細節： 兩種模式都使用 Lemonade 公開的 LLM Web 服務 並透過與 OpenAI 相容的 REST API 與應用程式通訊。這使得將 GAIA 整合到您的工作流程（或從舊工具遷移）變得非常簡單。

系統要求和兼容性

對於混合模式， 您需要一台配備 AMD Ryzen AI 300 系列處理器的計算機，此外還需配備適用於 Radeon iGPU（例如 890M）和 NPU 的驅動程式。此模式可實現最高效能和最低延遲。

至於記憶， 建議至少配備 16 GB RAM，在處理較長的上下文或要求更高的模型時，32GB 是一個更合適的數字。在作業系統層面，重點是 Windows 11（家用版/專業版），儘管標準安裝程式也與 Windows 10/11 相容。

如果您不符合這些要求，也沒關係： 您可以在通用模式下安裝 GAIA 並使用你的 CPU/GPU 和 Ollama 作為後端，嘗試本地 LLM。差別在於效能與混合選項。

分步安裝

啟動過程很簡單。 從官方 GitHub 倉庫下載安裝程序 並選擇適合您裝置的版本（Ryzen AI 300 為混合版本，其餘為通用版本）。

獲得文件後， 解壓縮並運行.exe如果 Windows 顯示安全性警告（SmartScreen），請前往「更多資訊」並點擊「仍然運行」。安裝通常需要 5 到 10 分鐘，具體取決於您的連接情況。

完成後，您將在桌面上看到兩個快捷方式： GAIA-GUI 和 GAIA-CLI第一次運行可能需要更長的時間，因為 必要的模型將被下載 和依賴項。在某些情況下，嚮導會要求您提供 Hugging Face 令牌來下載某些 LLM。

如果你想透過控制台移動， 打開 GAIA-CLI 並執行“gaia-cli -h” 查看可用選項。 CLI 提供對參數（模型、量化、上下文等）的細粒度控制，並允許您自動化測試或將其與腳本整合。

圖形介面（GUI）和命令列（CLI）

GUI 專為喜歡快速且簡單的使用者而設計： 打開 GAIA-GUI 並開始聊天 與代理程式一起，上傳文件、索引儲存庫並透過幾次點擊利用 RAG。

在 CLI 中，您會發現完全的靈活性。 您可以選擇模型、調整量化或定義上下文大小。 明確地。它是評估效能、比較參數以及在開發流程中協調 GAIA 的理想選擇。

此外，感謝 LLM 服務與 OpenAI API 相容，將 GAIA 整合到現有工具或測試您已在其他服務中使用的提示只需調整端點即可。

可用代理和 RAG 技術

如今，GAIA 包括 四種針對不同用途的代理而團隊和社區正在進一步發展。每個代理程式都利用 RAG 管道從本地向量索引中檢索上下文，並提高 LLM 的反應速度。

• 簡單提示完成：直接與模型互動以測試和評估提示；非常適合部署前的微調。
• 別墅：管理對話聊天代理 對話歷史 並支持更自然的對話。
• 夾：整合 YouTube 搜尋和問答功能；可以 向量化外部內容 並將其用作上下文。
• 小丑：一個笑話產生器 人性化體驗 並用於測試輸出樣式。

與 RAG 結合，代理商還可以 使用外部工具、推理和計劃 任務，無需離開本地環境即可實現互動式和高效的工作流程。

性能：NPU 與 iGPU 以及混合模式

Ryzen AI NPU 旨在 推理負載 IA 在效率和延遲方面表現出色。從 Ryzen AI 1.3 軟體發布開始，GAIA 可以部署 混合模式下的量化 LLM，同時使用 NPU 和 iGPU，並為每個組件分配其最擅長的操作。

你從中得到了什麼？ 反應更快、功耗更低、體驗更流暢 即使模型更重或上下文更長，GAIA 也能正常運作。即使您的電腦沒有 NPU，GAIA 在通用模式下仍然可用，其效能會根據可用硬體進行自訂。

在本地攻讀法學碩士的優勢

第一個大的好處是 隱私：無需將資料傳送到外部伺服器，這在敏感區域或處理機密資訊時至關重要。

它還強調了 低延遲透過不依賴網絡，回應可以更快到達並且互動感覺即時，這是提高生產力和良好用戶體驗的關鍵。

最後，性能更加可預測。 針對 NPU（和 iGPU）進行最佳化 它可以讓您充分利用電腦的硬件，在長時間使用時降低能耗並減少熱量。

卸載和維護

如果您需要卸載 GAIA，過程非常簡單。 關閉所有實例（CLI 和 GUI） 在刪除任何內容之前避免檔案鎖定。

然後 刪除 AppData 中的 GAIA 資料夾 並刪除儲存在 .緩存。最後，從桌面刪除捷徑就完成了。

這種手動方法彌補了目前還沒有自動卸載程式的缺陷。 幾分鐘後您將擁有一個乾淨的系統。 並且沒有本地模型或索引的痕跡。

適用的用例和行業

在隱私至關重要的情況下，GAIA 尤其有趣： 醫療保健、金融和企業環境 透過在本地運行人工智慧並減少對第三方的暴露，他們可以獲益良多。

它還添加了在沒有穩定連接的情況下的場景： Wi-Fi 連線有限或沒有 Wi-Fi 連線的中心 無需依賴雲端即可運行 AI 工作流程。

對於內容創作、客戶服務和內部助理， 具有 RAG 的代理 它們根據您的本地來源（儲存庫、文件、影片等）提供情境化且一致的答案。

與其他局部解決方案的比較

面臨諸如 LM Studio 或 ChatRTXGAIA 專注於與 AMD 硬體深度集成，尤其是 Ryzen AI NPU，並致力於 強大的 RAG 管道 旨在恢復和利用當地知識。

此外，該項目是開放且可擴展的。 您可以建立自己的代理和用例 無需處理黑盒子，並且與 OpenAI 相容的 REST API 支援使得與 應用程序 現有。

2025年的新聞與動力

GAIA 團隊一直在不斷改進，以擴展場景範圍。其中包括： 改進了對 Tensor Core 的支持 NVIDIA 在某些流程中使用該品牌的 GPU 時，這會加快執行速度。

也有談論 與 GCP 和 AWS 等雲端平台集成 當您需要以受控的方式組合本地/雲端環境時，以促進大規模工作和同步。

另一條值得注意的線是 改進的 ONNX 支持，這提高了人工智慧框架之間的互通性，並使模型在平台之間移動變得更加容易。甚至還有 量子人工智慧實驗工具，為尖端研究和測試打開了大門。

許可證、社區和路線圖

GAIA 的發行方式如下 麻省理工學院執照 其 GitHub 儲存庫邀請您協作：報告問題、提出改進建議並建立滿足更多實際需求的新代理程式。

路線圖提到 更多支持的模型和架​​構，垂直案件的新代理人，可能擴展到其他 OS 並持續提高NPU效率。

GAIA 為尋求嚴肅的本地設置的人提供了所需的一切： 隱私、效能以及與您的工作流程完美整合的架構如果您擁有 Ryzen AI 300 系列筆記型電腦，混合模式將為您帶來明顯的優勢；如果沒有，通用模式可讓您從今天開始並從那裡發展。