Ang pagpasok sa mundo ng lokal na artificial intelligence ay maaaring mukhang isang nakakatakot na gawain sa simula, ngunit ang katotohanan ay nasa isang ginintuang panahon tayo. Hindi mo na kailangan ng isang basement data center para magsagawa ng model inference ; ngayon, sa pamamagitan ng isang mahusay na na-configure na team, maaari kang magkaroon ng sarili mong pribadong assistant na hindi umaasa sa cloud o buwanang subscription.
Kapag pinag-uusapan natin ang pagpapatakbo ng mga modelo nang lokal, ang tinutukoy natin ay ang yugto ng paghihinuha , kung saan pinoproseso ng isang sinanay na modelo ang mga bagong datos upang mabigyan tayo ng sagot. Hindi tulad ng pagsasanay, na isang napakalaking gawain na nangangailangan ng libu-libong GPU, ang paghihinuha ay mas madaling pamahalaan, at dito nagkakaroon ng malakas na epekto ang mga Apple chip salamat sa kanilang mahusay na pamamahala ng kuryente at makabagong arkitektura.
Ang sikreto sa tagumpay: Pinag-isang Memorya
Kung may isang bagay na nagpapaiba sa mga Mac, ito ay ang Unified Memory Architecture (UMA) . Sa isang tradisyonal na PC, kailangan mong ilipat ang data mula sa system RAM patungo sa VRAM ng graphics card, at doon nasasayang ang mahalagang oras. Sa M4, M3 Ultra, at mga katulad na chips, ang CPU at GPU ay kumukuha mula sa iisang memory pool, na lubhang binabawasan ang latency kapag humahawak ng mga tensor.
Mahalaga ito kapag gusto nating mag-load ng medium o large LLMs (Large Language Models). Halimbawa, ang isang Mac Studio na may malaking halaga ng RAM ay kayang mag-accommodate ng mga modelo na sa mundo ng PC ay mangangailangan ng ilang NVIDIA A6000 cards , na magreresulta sa malaking matitipid sa mga gastos at, higit sa lahat, sa singil sa kuryente, dahil ang konsumo ay maliit na bahagi lamang ng kung ano ang gagamitin ng isang gaming tower.
Kwantisasyon at mga Format: Paano gawing akma ang modelo
Para maiwasan ang pag-crash ng iyong makina ng isang modelo na may 70 trilyong parameter, gumagamit kami ng quantization . Sa esensya, kinabibilangan ito ng pagbabawas ng katumpakan ng mga numero (mula FP32 patungong INT8 o kahit 4 na bits), na nagpapaliit sa modelo at nagpapabilis ng tugon nang hindi ito ginagawang "katangahan" o nagiging sanhi ng pagkawala ng coherence.
- GGUF: Ito ang mas gustong format para sa mga gumagamit ng CPU o kombinasyon ng CPU at GPU. Ito ay isang file na naglalaman ng lahat ng kailangan at siyang pamantayan para sa call.cpp.
- GPTQ: Dinisenyo para gumana gamit ang mga GPU, na nag-o-optimize sa bilis ng pagproseso.
- Mga Safetensor: Isang mas ligtas na opsyon kaysa sa mga tradisyonal na .bin file, dahil pinipigilan nito ang pagpapatupad ng malisyosong code kapag nilo-load ang modelo.
Mga mahahalagang kagamitan para sa pag-set up ng iyong kapaligiran
Kung ayaw mong mahirapan sa paggamit ng terminal sa simula pa lang, may ilang napakadaling opsyon. Ang LM Studio marahil ang pinaka-madaling gamitin na tool: ito ay isang all-in-one na solusyon na may graphical interface na nagbibigay-daan sa iyong patakbuhin ang mga AI model nang lokal at ilunsad ang mga ito sa isang click lang. Maaari ka ring mag-set up ng isang lokal na OpenAI-compatible na API server para maisama ang AI sa iyong sariling mga app.
Sa kabilang banda, mayroon tayong Ollama , ang hiyas na korona para sa mga mas gusto ang mas magaan o nakabatay sa command-line. Ito ay open source at maayos na nakakapag-integrate sa Open WebUI , na nagbibigay-daan sa iyong magkaroon ng interface na kapareho ng ChatGPT ngunit ganap na tumatakbo sa iyong hardware. Mayroon ding mabilis na gabay sa pagpapatakbo ng mga lokal na LLM gamit ang Ollama . Para sa mga naghahanap ng pinakamataas na performance sa macOS, ang MLX framework ng Apple ang na-optimize na opsyon upang masulit ang silicon ng kumpanya.
Problema sa Hardware: Kakayahang Dalhin o Raw Power?
Maraming mananaliksik at developer ang nahihirapan sa dalawang landas. Ang unang pagpipilian ay ang paggamit ng MacBook Pro M4 Max na may sapat na memorya (tulad ng 128GB). Ang bentahe ay mabilis na pag-ulit : maaari kang nasa isang coffee shop o nasa eroplano habang sinusubukan ang isang pipeline ng RAG (Recovery Augmented Generation) nang hindi umaasa sa isang malayuang koneksyon.
Ang alternatibo ay isang Mac Studio at isang magaan na kombinasyon ng laptop. Ang Studio ay isang napakalakas na thermal beast; maaari mo itong iwanan na tumatakbo nang mahahabang inferences nang maraming oras nang hindi tumutunog ang fan na parang jet engine na umaandar. Gayunpaman, nagdudulot ito ng friction ng remote access , na nangangailangan sa iyo na i-synchronize ang mga kapaligiran at data sa pagitan ng dalawang magkaibang makina, na maaaring makagambala sa iyong creative flow.
Mga kaso ng paggamit at mga limitasyon sa totoong mundo
Gamit ang isang Mac Mini M4 o isang MacBook Pro na may kumpletong kagamitan, maaari kang mag-set up ng mga RAG system na may mga vector database tulad ng ChromaDB o Qdrant, lumikha ng mga local code assistant gamit ang Aider, o awtomatikong mag-transcribe ng mga video gamit ang local AI upang kumuha ng mga feature. Ito ay mainam para sa prototyping at pagsusuri ng pag-uugali ng mga quantized na modelo na may pagitan ng 7 bilyon at 70 bilyong parameter.
Gayunpaman, huwag umasa ng mga himala. Ang masinsinang pagsasanay sa modelo o kumplikadong pagpipino ay hindi ang mga kalakasan ng mga makinang ito. Kung ang iyong daloy ng trabaho ay lubos na umaasa sa mga ecosystem ng NVIDIA CUDA , makakaranas ka ng ilang mga balakid, dahil ang Metal (APP ng Apple) ay hindi isang tuluy-tuloy na kapalit, bagaman ang agwat ay lumiit nang malaki para sa paghihinuha.
Masigasig na manunulat tungkol sa mundo ng mga byte at teknolohiya sa pangkalahatan. Gustung-gusto kong ibahagi ang aking kaalaman sa pamamagitan ng pagsusulat, at iyon ang gagawin ko sa blog na ito, ipakita sa iyo ang lahat ng mga pinaka-kagiliw-giliw na bagay tungkol sa mga gadget, software, hardware, teknolohikal na uso, at higit pa. Ang layunin ko ay tulungan kang mag-navigate sa digital na mundo sa simple at nakakaaliw na paraan.