- Gabay sa komunidad na nagtitipon ng mga totoong benchmark ng mga device para sa LLM local inference, na nakatuon sa mga AI agent at modelo batay sa mga parameter ng 9B.
- Ginagamit nito ang pamilyang Qwen 3.5 bilang pamantayang sanggunian at pangunahing sinusukat ang bilis ng pag-decode at prefill sa mga token/s, na inihahambing ang mga resulta sa mga limitasyon ng teoretikal na bandwidth.
- Inilalantad nito ang mga karaniwang taktika ng pagpapalaki ng mga numero sa hardware marketing (kalat-kalat na TOPS, matinding katumpakan, magkakaibang pagsasalansan) upang maiwasan ang mga mapanlinlang na pagbili.
- Nag-aalok ito ng mga interactive na view (ranking, 2D/3D graph at buong table) at tumatanggap ng mga manual na kontribusyon mula sa komunidad na may kasamang ebidensya ng pagsubok upang mapanatiling transparent at kapaki-pakinabang ang datos.
Kung isinasaalang-alang mo ang pag-set up ng isang AI agent sa sarili mong computer at hindi umaasa sa cloud, malamang na nabasa mo na ang terminong "AI Agent Local LLM Inference Device Deployment Guide" o ang website na llmdev.guide. Sa likod ng medyo mahabang pangalang iyon ay mayroong isang bagay na napakaespesipiko: isang praktikal na gabay, batay sa totoong datos, upang matulungan kang pumili ng tamang hardware upang magpatakbo ng malalaking language model nang lokal nang hindi nagsasayang ng pera.
Ang ideya sa likod ng proyektong ito ay simple ngunit makapangyarihan: ang mangalap ng mga benchmark sa totoong mundo, na sinusukat ng komunidad, ng mga pinakakaraniwang ginagamit na aparato para sa lokal na paghihinuha ng LLM ( lalo na para sa mga ahente ng AI) at ipakita ang mga ito sa isang malinaw, biswal , at madaling maihahambing na format. Ang layunin ay labanan ang dagat ng mga pinalaking numero, mga kahina-hinalang taktika sa marketing, at nakalilitong mga detalye na bumabaha sa merkado ng AI accelerator at GPU.
Ano ang Gabay sa Pag-deploy ng I Agent Local LLM Inference Device
Ang "AI Agent Local LLM Inference Device Deployment Guide" ay isang gabay sa pag-deploy na naglalayong sa mga indibidwal na gumagamit na gustong magpatakbo ng malalaking modelo ng wika nang lokal, na may partikular na pagtuon sa mga workload ng ahente (tulad ng Claude Code, Cursor, OpenClaw , PicoClaw, atbp.). Ang mga workload na ito ay karaniwang kumokonsumo ng napakaraming token kumpara sa isang simpleng chat application, kaya ang pagganap ng hardware ay nagiging mahalaga upang maiwasan ang pagkadismaya habang naghihintay ng mga tugon.
Ang proyekto ay naka-host sa llmdev.guide at nakabalangkas bilang isang bukas at kolaboratibong database, kung saan ang komunidad ay nag-aambag ng mga resulta ng pagganap mula sa iba't ibang mga device na nagpapatakbo ng mga partikular na modelo. Ang minimum na kinakailangan para maisama ang isang device sa gabay ay maaari itong magpatakbo ng kahit isang 9B na modelo , na makatwiran para sa pagbuo ng isang disenteng AI agent.
Bukod sa nagsisilbing katalogo, ang gabay ay inilaan bilang isang uri ng panlunas sa mapanlinlang na pagmemerkado ng ilang tagagawa na nangangako ng napakalaking kapasidad sa TOPS o TFLOPS na, sa pagsasagawa, ay hindi isinasalin sa mas maraming token bawat segundo. Ipinapaliwanag mismo ng gabay ang mga pinakakaraniwang taktika ng pagpapalobo ng mga numero upang hindi ka malinlang kapag naghahambing ng mga aparato.
Isa pang mahalagang punto ay ang gabay ay nakatuon sa mga sistemang karaniwang nagkakahalaga ng mas mababa sa $10.000 , mula sa mga PC na may mga consumer GPU hanggang sa mga mini PC, mga pinahusay na SBC, mga nakalaang accelerator, at ilang mas seryosong workstation. Ang ideya ay hindi upang makipagkumpitensya sa mga data center, kundi upang ipakita kung ano ang pinaka-makatuwiran para sa isang taong gustong bumuo ng sarili nilang AI rig sa bahay o sa opisina at magpatakbo ng LLM sa lokal.
Pinalaking mga taktika sa marketing sa AI hardware
Isa sa mga dagdag na halaga ng gabay ay ang pagpapabulaan nito sa ilang karaniwang mga trick sa marketing na ginagamit upang pataasin ang "computing power" ng isang device . Ang pag-unawa sa mga trick na ito ay lubos na nakakatulong sa matalinong pagbibigay-kahulugan sa mga espesipikasyon.
Isang taktika ay ang paggamit ng "sparse computation" bilang pangunahing TOPS figure . Maraming chips ang nag-aanunsyo, halimbawa, ng 200 TOPS, ngunit ang figure na iyon ay makakamit lamang sa sparsity (isang bahagi ng weights na nakatakda sa zero) at sa ilalim ng mga partikular na kondisyon. Ang aktwal na resulta sa mga dense model ay madaling maging kalahati niyan, kaya, bilang pangkalahatang tuntunin, itinuturing na mayroong kahit 2x inflation factor.
Ang isa pang paraan upang manipulahin ang mga numero ay ang paggamit ng napakababang katumpakan tulad ng FP4 o INT4 kapag nagpapakita ng hilaw na lakas . Pinapataas ng mga numerong ito ang teoretikal na peak performance kumpara sa INT8 o FP16, ngunit hindi ito laging magagamit o nag-aalok ng sapat na kalidad para sa lahat ng modelo. Ang aktwal na "inflation" ay karaniwang nasa pagitan ng dalawa at apat na beses kung ano ang makikita natin sa ilalim ng makatotohanang mga kondisyon.
Karaniwan din ang heterogeneous computing stacking ; ibig sabihin, ang simpleng pagsasama-sama ng lakas ng mga CPU, GPU, NPU, DSP, at kung ano pa man ang kasangkot, na para bang lahat ay maaaring gamitin nang sabay-sabay nang may perpektong kahusayan. Sa pagsasagawa, ang epektibong paggamit nang sabay-sabay ng lahat ng mga bloke na ito ay napakahirap, at ang makukuha mo ay isang magandang pangkalahatang pigura sa papel, ngunit hindi kumakatawan sa kung ano talaga ang makikita mo sa isang partikular na LLM.
Panghuli, may mga device na may malaking computing power na may napakakaunting memory bandwidth . Sa papel, parang mga TOPS beast sila, ngunit sa sandaling simulan nilang humawak ng isang malaking language model, tuluyan silang nababara ng memory. Binibigyang-diin ng gabay na ang tunay na limitasyon ng performance ay karaniwang mas natutukoy ng bandwidth kaysa sa theoretical TOPS.
Paano ibalangkas ang impormasyon llmdev.guide
Ang website na llmdev.guide ay nag-aalok ng ilang paraan upang mailarawan at maihambing ang mga LLM local inference device , na idinisenyo para sa mga gumagamit na may iba't ibang antas ng teknikal na kadalubhasaan. Hindi lamang ito isang patag na mesa: mayroong ilang mga interactive na view na lubos na nagpapadali sa mga paghahambing.
Sa isang banda, mayroon kaming klasikong "Leaderboard" na nagbibigay-daan sa iyong pagbukud-bukurin ang mga device ayon sa iisang pamantayan , tulad ng bilis ng pag-decode (mga token kada segundo), ratio ng presyo-pagganap, o kahusayan sa enerhiya. Ang view na ito ay mainam kung interesado ka lamang sa, halimbawa, na makita kung aling opsyon ang nag-aalok ng pinakamaraming token kada euro na ginagastos sa loob ng iyong badyet.
Kung gusto mong mas malalim pang magsuri, kasama sa gabay ang mga 2D scatter plot kung saan maaari mong piliin kung aling variable ang ilalagay sa bawat axis (presyo, pagkonsumo ng kuryente, bandwidth, token/s, atbp.) at gamitin ang laki ng bubble upang kumatawan sa isang karagdagang sukatan. Nagbibigay-daan ito sa iyong makita sa isang sulyap, halimbawa, kung aling mga device ang nag-aalok ng makatwirang balanse sa pagitan ng gastos, performance, at pagkonsumo ng kuryente.
Para sa mga talagang mahilig sa pagsusuri ng datos, mayroon ding mga interactive na 3D graph na nagpapakita ng tatlong parameter na sabay-sabay na nagsasalubong, na kinakatawan ng mga bula sa isang three-dimensional na espasyo. Bagama't ito ay isang mas "techie" na pananaw, ito ay lubhang kapaki-pakinabang para sa pag-unawa, halimbawa, kung paano ang ilang uri ng hardware ay pinagsama-sama ayon sa mga token kada segundo, presyo, at kahusayan kada watt.
Ang pang-apat na view ay isang komprehensibong talahanayan ng datos na naglalaman ng lahat ng mga detalye at resulta ng benchmark . Dito mo maaaring i-filter, ayusin, at i-access ang detalyadong impormasyon para sa bawat GPU, NPU, o modelo ng system. Ang bawat device ay may kanya-kanyang profile, na may mga teknikal na detalye, resulta ng pagsubok, at karagdagang mga tala, pati na rin ang mga link sa ebidensya ng pagsubok na isinumite ng user.
Pinag-isang modelo ng sanggunian: pamilyang Qwen 3.5
Upang maiwasan ang kaguluhan ng paghahambing ng mga mansanas at dalandan, ginagamit ng gabay ang pamilya ng modelo ng Qwen 3.5 bilang pamantayang sanggunian . Simple lang ang ideya: kung ang lahat ng benchmark ay isasagawa gamit ang parehong arkitektura ng modelo, mas magiging malinis ang paghahambing sa pagitan ng mga device.
Mayroong dalawang modelo sa pamilyang Qwen3.5 na itinuturing na mandatory para maisama sa listahan ang isang device . Ang isa ay ang Qwen3.5-9B, na nagsisilbing pamantayan para sa maliliit o entry-level na device. Kung hindi kayang hawakan ng iyong hardware ang modelong ito, malamang na hindi ito angkop para sa mga mapanghamong AI agent.
Ang pangalawang kinakailangang modelo ay ang Qwen3.5-27B, na nilayon bilang isang sanggunian para sa mga mid-range na aparato . Kung ang isang computer ay makatuwirang makakayanan ang modelong ito, ito ay itinuturing na sapat na matibay para sa mas mahigpit na paggamit, tulad ng mga propesyonal na aplikasyon sa pagbuo ng code, pagsusuri ng dokumento, o mga internal na katulong.
Bukod pa rito, kasama sa gabay ang ilang modelo ng Mixture of Experts (MoE) bilang opsyonal na mga opsyon: Qwen3.5-35B-A3B, Qwen3.5-122B-A10B, at Qwen3.5-397B-A17B . Ang bawat isa ay nagsisilbing sanggunian para sa mga device na may mas malaking memorya o mas mataas na mga detalye: mula sa mga makinang may sapat na RAM hanggang sa mga tunay na flagship na idinisenyo para sa mga lubhang mahirap na gawain.
Sa lahat ng kaso, isang minimum na quantization na 4 bits (INT4/Q4) ang itinatakda upang matiyak ang maihahambing at makatotohanang mga resulta. Kung ang isang device ay wala pang direktang datos para sa Qwen 3.5, maaaring gamitin ang mga pagtatantya batay sa mga katulad na modelo sa mga pambihirang kaso, at ang mga ito ay minarkahan ng asterisk upang ipahiwatig na hindi ang mga ito ay direktang pagsukat.
Anong mga sukatan ng pagganap ang aktwal na sinusukat?
Sa halip na maligaw sa isang libong numero, ang gabay ay nakatuon sa dalawang pangunahing sukatan para sa interactive na paggamit ng mga AI agent : bilis ng pag-decode at bilis ng prefill, na parehong ipinapahayag sa mga token bawat segundo.
Ang bilis ng pag-decode ang pinakamahalagang salik para sa karanasan ng gumagamit dahil tinutukoy nito kung gaano karaming token bawat segundo ang maaaring mabuo ng modelo kapag nagsimula na ang tugon. Sa esensya, tinutukoy nito kung ang teksto ay lilitaw nang maayos o pabago-bago.
Ang bilis ng prefill ay nakakaapekto sa oras hanggang sa unang token , ibig sabihin, kung gaano katagal iproseso ng sistema ang unang prompt (na maaaring mahaba sa mga ahente na may konteksto, mga tool, kasaysayan, atbp.) bago simulan ang pagbuo ng output. Ito ay mahalaga sa mga application na naglo-load ng malalaking konteksto o maraming dokumento nang sabay-sabay.
Bukod sa dalawang pangunahing sukatang ito, binibigyang-pansin din ng gabay ang ugnayan sa pagitan ng bandwidth ng memorya at aktwal na bilis . Sa katunayan, ang mga naiulat na halaga ng token/s ay inihahambing sa isang teoretikal na kisame na kinakalkula mula sa magagamit na bandwidth, at kung ang mga numero ay lumampas sa makatwiran, minarkahan ang mga ito ng isang simbolo ng babala upang ipahiwatig na may mali.
Ang lahat ng ito ay kinukumpleto ng impormasyon tungkol sa pagkonsumo ng enerhiya, tinatayang presyo, kapasidad ng memorya, bandwidth, at idineklarang TOPS , na ginagamit upang makuha ang mga ratio tulad ng performance kada euro o performance kada watt. Ang mga ratio na ito ay nagbibigay-daan sa iyong mabilis na makita kung aling mga device ang "mura" at alin ang malinaw na masyadong mahal.
Mga paghahambing ng hardware sa totoong mundo: mahahalagang halimbawa
Isa sa mga pinaka-naglalarawang kaso na tinalakay gamit ang gabay ay ang paghahambing ng mga mamahaling GPU at mga premium na workstation na may mas simpleng mga opsyon . Sa pamamagitan ng paglalagay ng lahat ng data sa iisang graph, nagiging malinaw na ang presyo ay hindi palaging isinasalin sa mas maraming token/s.
Halimbawa, gamit ang Qwen3.5 9B bilang sanggunian , ipinapakita ng gabay na ang mga sistemang nagkakahalaga ng mahigit $4.000, tulad ng isang NVIDIA DGX Spark system o isang Apple Mac Studio na may M3 chip, ay maaaring mag-alok ng halos kaparehong performance sa mga token kada segundo sa isang makinang ginawa gamit ang mas simple at praktikal na GPU, tulad ng isang 12GB Intel Arc B580 na nagkakahalaga ng humigit-kumulang $260.
Sa kabilang dulo, kung hindi problema ang pera at ang hangad mo ay ang pinakamataas na posibleng bilis gamit ang mga compact na modelo , ang lohikal na gawin ay tumingin sa mga nangungunang GPU, tulad ng isang hipotetikal na 32GB NVIDIA GTX 5090, na nag-aalok ng medyo makatwirang absolute performance/cost ratio kung ang mahalaga lang ay lampasan ang mga limitasyon mo at handang mamuhunan.
Kapag lumipat ka sa mas malalaking modelo, tulad ng Qwen 122B-A10B , malaki ang pagbabago dahil ang memorya ay nagsisimulang maging hadlang. Sa kontekstong ito, ang mga device tulad ng NVIDIA DGX Spark ay maaaring mag-alok ng nakakagulat na magandang price/performance ratio kumpara sa mga makinang tulad ng Apple Mac Studio M3 Ultra na may 256 GB, pangunahin dahil sa kung paano nila pinamamahalaan ang memorya at bandwidth.
Mahalagang tandaan, gayunpaman, na hindi lahat ng entry sa gabay ay nagbibigay ng parehong antas ng detalye tungkol sa gastos : ang ilan ay naglilista ng presyo ng kumpletong sistema, habang ang iba ay nagpapakita lamang ng presyo ng GPU. Gayunpaman, bilang isang pangkalahatang tool sa paghahambing, ginagawang madali ng gabay na matukoy kung kailan ang isang sistema ay labis na na-over-engineered para sa pagganap na aktwal nitong naihahatid sa mga LLM.
Mga opsyon sa pagtingin at pagsusuri sa gabay
Ang interface na llmdev.guide ay nagbibigay-daan sa iyong mag-eksperimento sa maraming parameter para sa X at Y axes ng mga graph at para sa laki ng mga bula . Maaari mong piliing, halimbawa, ang X axis ay kumakatawan sa presyo, ang Y axis ay kumakatawan sa mga decoding token/segundo, at ang laki ng bula ay kumakatawan sa pagkonsumo ng enerhiya.
Maaari mo ring i-cross-reference ang mga katangian ng hardware (memory bandwidth, kapasidad, idineklarang TOPS) gamit ang mga resulta ng hinuha (prefill speed, output speed) o mga derived ratio (performance per watt, performance per dollar). Nakakatulong ito sa pagtukoy ng mga pattern, tulad ng mga device na gumaganap nang malaki sa itaas o mas mababa sa kanilang mga ispesipikasyon.
Tungkol sa pagpepresyo, ang tool ay hindi nag-aalok sa simula ng direktang filter ayon sa saklaw ng presyo , ngunit pinapayagan ka nitong gumamit ng logarithmic scale sa price axis upang ang mga opsyon sa entry-level at mid-range ay hindi matatakpan ng mas mamahaling mga istasyon. Bukod pa rito, maaari kang mag-zoom in sa pamamagitan ng pagguhit ng isang parihaba gamit ang mouse upang tumuon sa isang partikular na subset ng mga device.
Kung mas gusto mo ang mas tradisyonal na pamamaraan, ang sortable table list view ay nagbibigay-daan sa iyong muling isaayos ang mga hilera ayon sa anumang hanay , kabilang ang presyo. Sa ganitong paraan, makikita mo sa isang sulyap kung aling device ang pinakamura na nakakatugon sa ilang minimum na kinakailangan o kung alin ang nag-aalok ng pinakamahusay na pagganap sa loob ng isang partikular na badyet.
Ang pag-click sa isang item sa listahan o isang bubble sa graph ay magbubukas ng isang pahina na may higit pang mga detalye tungkol sa bawat device , kabilang ang kumpletong teknikal na mga detalye, mga resulta ng pagsubok, at mga tala kung paano isinagawa ang benchmark. Ipinapahiwatig ng pahinang ito kung ang data ay sinukat o ini-extrapolate, pati na rin ang anumang hindi pangkaraniwang aspeto ng setup.
Datos, mga pagtatantya, at proseso ng kontribusyon ng komunidad
Isa sa mga pundasyon ng proyekto ay ang lahat ng datos ng pagganap ay hango sa mga kontribusyon ng komunidad . Hindi ito isang saradong hanay ng mga pagsubok na isinasagawa ng iisang laboratoryo, kundi isang dynamic na database kung saan maaaring idagdag ng sinuman ang kanilang mga resulta sa pamamagitan ng pagsunod sa itinakdang pamamaraan.
Kapag ang isang device ay hindi direktang nasubukan gamit ang Qwen 3.5, ang ilang resulta ay maaaring lumitaw bilang mga pagtatantya batay sa ibang mga modelo , tulad ng Llama 7B sa kaso ng 16GB Raspberry Pi 5. Ginagawa ito upang magbigay ng magaspang na sanggunian, ngunit tahasang minarkahan upang walang sinuman ang mapagkamalan ito sa mga aktwal na sukat.
Ang proseso ng kontribusyon ay kinabibilangan ng pag-fork ng repositoryo ng proyekto , pagkopya ng template ng device (devices/_template.md), at pagpuno nito ng impormasyon ng hardware at mga resultang nakuha. Bukod pa rito, hihilingin sa iyong maglakip ng ebidensya ng iyong mga pagsubok, tulad ng mga screenshot o output ng terminal, upang mapatunayan ng iba na tumpak ang mga numero.
Kinakailangan, kahit man lang, na patakbuhin ang Qwen 3.5 9B nang may sapat na haba ng prompt upang makakuha ng makabuluhang datos ng pagganap, lalo na sa mga karaniwang kaso ng paggamit ng AI agent. Inirerekomenda rin na kumuha ng mga larawan ng board o kagamitang ginamit at idokumento ang configuration (quantization, context, backend, atbp.).
Sa kasalukuyan, hindi awtomatiko ang pangongolekta ng datos ng sistema ; lahat ay dapat punan nang manu-mano ayon sa template. Itinuro ng ilang gumagamit na mainam kung may mga script tulad ng "sbc-bench.sh" na nagpapatakbo ng mga pagsubok at nagpapadala ng mga resulta, ngunit sa ngayon, ang manu-manong pamamaraan ay nagbibigay-daan para sa mas mahusay na kontrol sa kalidad at pinipigilan ang mga talahanayan na mapuno ng mga kaduda-dudang resulta.
Konteksto: Ano ang mga lokal na LLM at bakit mahalaga ang mga ito?
Higit pa sa mismong gabay, mahalagang maunawaan ang konteksto kung saan ito lumilitaw: ang malalaking modelo ng wika na tumatakbo nang lokal, nang hindi umaasa sa cloud , ay nakakaranas ng paglago. Parami nang paraming mga gumagamit at kumpanya ang gustong magkaroon ng sarili nilang assistant, agent, o conversational system na tumatakbo sa kanilang mga makina, nang hindi nagpapadala ng sensitibong data sa mga ikatlong partido.
Ang mga lokal na LLM ay kumakatawan sa isang pagbabago mula sa mga tradisyunal na serbisyo sa cloud dahil pinapayagan ka nitong mapanatili ang soberanya ng data at magtrabaho nang ganap na offline . Sa halip na magbayad para sa mga tawag sa isang panlabas na API, i-download mo ang modelo, patakbuhin ito sa iyong hardware, at kontrolin ang parehong configuration at anumang mga pagpapasadya o pagpipino.
Sa kasalukuyang ecosystem, ang mga modelong tulad ng Llama 3.x, Qwen 2.5/3.5, DeepSeek R1, at Phi-4 ay magkakasamang nagsasama , na patuloy na umuunlad ang kahusayan hanggang sa punto na ang mga bersyong may 7B-9B na mga parameter ay nag-aalok ng napakagandang resulta kung tatakbo sa isang single consumer GPU o kahit na sa isang malakas na CPU at mahusay na RAM.
Para sa mga organisasyong may masinsinang workload (malawakang pagsusuri ng dokumento, patuloy na pagbuo ng code, mga internal chatbot, atbp.), ang paglipat sa mga on-premise na LLM ay maaaring mangahulugan ng napakalaking matitipid kumpara sa mga paulit-ulit na gastos ng mga komersyal na API , lalo na kapag humahawak ng milyun-milyong token bawat buwan. Ito ay lalong pinahuhusay ng kakayahang magkaroon ng pinong kontrol sa modelo at sa pag-uugali nito.
Mas pinalalawak pa ng mga AI agent ang lahat ng ito, dahil hindi lamang nila sinasagot ang mga tanong, kundi pinagsasama-sama rin nila ang mga tool, konteksto, at aksyon sa mas mahahabang daloy. Malaki ang naitutulong nito sa pagpaparami ng mga token at ginagawang mas kritikal na salik ang inference performance ng device—ito mismo ang uri ng senaryo kung saan pinakakapaki-pakinabang ang gabay sa I Agent Local LLM Inference Device Deployment; ang pag-unawa sa mga arkitektura ng agent ay mahalaga para sa pagdidisenyo ng mga sistemang ito.
Mga kinakailangan sa hardware para sa lokal na LLM: GPU, CPU, at memorya
Isa sa mga pinakamalaking sakit ng ulo kapag ang isang tao ay isinasaalang-alang ang pag-set up ng isang LLM sa isang lugar ay ang pag-unawa kung anong hardware ang talagang kailangan nila at kung aling bahagi ng badyet ang may pinakamalaking epekto . Ang GPU at memorya (VRAM at RAM) ay karaniwang mga salik sa pagpapasya, ngunit hindi lamang ang mga ito.
Sa larangan ng mga GPU, ang susi ay nasa dami ng VRAM at bandwidth . Para sa mga entry-level na modelo na may 7-8B parameters (tulad ng Llama 3.1 8B o Qwen 2.5 7B), ang isang GPU na may 8-12 GB ng VRAM ay karaniwang sapat na, lalo na kung gumagamit ng 4-bit quantization. Sakop nito ang mga pangkalahatang gamit at mga personal na proyekto nang walang masyadong komplikasyon.
Kung ang layunin ay mag-upgrade sa mga modelo ng parameter na 14-32B (tulad ng Qwen 2.5 14B o DeepSeek R1 32B), makatuwirang maghangad ng mga GPU na may 16-24 GB ng VRAM , o mga multi-GPU configuration sa ilang mga kaso. Simula sa 70B parameter, nagiging mas mahirap ang mga bagay-bagay, at pinag-uusapan natin ang tungkol sa 48 GB o higit pa, kadalasan sa mga system na may maraming high-end GPU o nakalaang enterprise accelerators.
Mayroong isang magaspang na tuntunin para sa pagkalkula kung gaano karaming memorya ang kailangan ng isang modelo : M = (P × Q/8) × 1,2, kung saan ang M ay ang memorya sa GB, ang P ay ang bilang ng mga parameter sa bilyon, at ang Q ay ang katumpakan sa bits. Kaya, ang isang 70B na modelo na may 16 bits ay maaaring mangailangan ng humigit-kumulang 168 GB ng VRAM, habang sa 4-bit quantization ay mas malapit ito sa 42 GB. Mula doon, maaari itong isaayos depende sa backend at mga karagdagang buffer.
Hindi dapat maliitin ang papel ng CPU: ang mga modernong processor na may mahusay na kakayahan sa pagpoproseso ng vector at sapat na bandwidth ng memorya ay kayang humawak ng mas maliliit na modelo na may nakakagulat na pagganap. Ipinapakita ng mga kamakailang halimbawa ang mga CPU tulad ng ilang Ryzen AI processor na may kakayahang lumampas sa 50 token/s na may magaan na modelo, na nagbubukas ng pinto sa mga setup na walang GPU para sa ilang aplikasyon.
Mga sikat na tool para sa pag-deploy ng mga lokal na LLM
Kapag malinaw na ang hardware, ang susunod na hakbang ay ang pagpili ng software platform para sa pamamahala ng mga modelo at hinuha . Pinagsasama nito ang mga tool na idinisenyo para sa mga baguhang gumagamit kasama ang iba pang nakatuon sa pag-ubos ng bawat huling bahagi ng pagganap ng CPU o GPU.
Itinatag na ng Ollama ang sarili bilang isa sa mga pinaka-madaling gamitin na opsyon para sa mga nagsisimula . Gumagana ito gamit ang isang pamamaraang "Docker for models", na nagbibigay-daan sa iyong mag-download at maglunsad ng mga modelo gamit ang napakasimpleng mga utos. Awtomatiko nitong pinamamahalaan ang quantization, GPU at paggamit ng memorya, at inilalantad ang isang OpenAI-compatible na API, na lubos na nagpapadali sa pagsasama ng isang ahente o chatbot sa iyong sariling mga aplikasyon.
Para sa mga mas gusto ang isang pinakintab na graphical interface, ang LM Studio ay nag-aalok ng isang lubos na pinong visual na kapaligiran para sa pagtuklas, pag-download, at pagsubok ng mga modelo . Direktang isinasama nito ang Hugging Face, nagtatampok ng chat interface, at ginagawang madali ang paglipat sa pagitan ng mga modelo, quantization, o backend nang hindi ginagamit ang command line, kapalit ng ilang matinding flexibility.
Sa mas teknikal na aspeto, ang llama.cpp ay nananatiling pamantayan pagdating sa pinakamataas na pagganap at pag-aayos . Ito ay isang lubos na na-optimize na implementasyon ng C++ na may suporta para sa maraming backend (CUDA, Metal, Vulkan, atbp.) at mga advanced na pamamaraan ng quantization. Bukod pa rito, nakakita ito ng mga makabuluhang pagpapabuti sa mga arkitektura ng ARM, na nakikinabang sa mga laptop na may Apple Silicon pati na rin sa mga device na may Snapdragon X at mga katulad na processor.
Kasabay nito, may mga proyektong tulad ng GPT4All at LocalAI na nakatuon sa isang pinag-isang karanasan sa desktop o paglalantad ng madaling maisamang mga lokal na API. Bukod pa rito, may mga alternatibo tulad ng Jan AI na magagamit para sa mga naghahanap ng lokal na karanasan na katulad ng ChatGPT. Ang pagpili ay nakasalalay sa balanseng hinahanap ng bawat user sa pagitan ng pagiging simple, pagganap, at pagpapasadya.
Mga estratehiya sa pag-deploy at pag-optimize para sa mga ahente ng AI
Kapag ang layunin ay magpatakbo ng mas kumplikadong mga AI agent (kasama ang mga tool call, nabigasyon, mahahabang reasoning chain, atbp.), ginagamit ang mga karagdagang estratehiya sa pag-optimize upang samantalahin ang hardware na mayroon ka na o na bibilhin mo kasunod ng gabay.
Ang kwantiisasyon ang unang pangunahing bentahe: ang pagtatrabaho sa 4 na bit ay karaniwang nag-aalok ng napakahusay na balanse sa pagitan ng kalidad at laki , na nagpapahintulot sa mga modelong 7-9B na magkasya nang kumportable sa mga 8-12 GB GPU at mga disenyong 30B o mas malaki na tumakbo sa mga 24 GB GPU o mga configuration na multi-GPU. Para sa mga kasong nangangailangan ng pinakamataas na kalidad, ang 8 bit ay nag-aalok ng medyo siksik na intermediate balance.
Mahalaga ring isaayos ang mga parameter tulad ng haba ng konteksto, laki ng batch, at ang bilang ng mga layer na inilipat sa GPU sa mga hybrid na configuration ng CPU/GPU. Ang pagpapataas ng haba ng konteksto ay nagpapabuti sa kakayahang pangasiwaan ang mahahabang kasaysayan, ngunit makabuluhang nagpapataas ng pagkonsumo ng memorya; mahalaga ang pag-fine-tune ng mga value na ito ayon sa partikular na paggamit ng agent.
Sa mga kapaligirang pang-enterprise o lab, makatuwiran na isaalang-alang ang mga multi-GPU configuration at distributed deployment , gamit ang mga pamamaraan tulad ng tensor parallelism upang hatiin ang malalaking modelo ng 70B o higit pa sa maraming card. Ang mga framework tulad ng vLLM o ilang advanced na web interface ay nag-aalok ng direktang suporta para sa mga mode na ito, bagama't nangangailangan ang mga ito ng mas maraming kaalaman sa sistema.
Panghuli, mula sa perspektibo ng gastos, ang mga on-premise deployment ay kadalasang nagiging lubhang mapagkumpitensya sa cloud kapag mataas ang dami ng mga token na naproseso at ang hardware ay nagbabayad para sa sarili nito sa katamtamang termino. Ang gabay sa device ay nakakatulong nang tumpak na mahanap ang tamang lugar sa pagitan ng pamumuhunan sa kagamitan, mga gastos sa enerhiya, at pagganap, upang ang equation ay pumapabor sa on-premises agent deployment.
Kung isasaalang-alang ang lahat ng elementong ito—mga totoong datos ng benchmark, mga pamamaraan para sa pagsala ng pinalaking marketing, mga kaugnay na sukatan, at mga tool sa pag-deploy—ang I Agent Local LLM Inference Device Deployment Guide ay nagiging isang napakahalagang mapagkukunan para sa sinumang naghahangad na bumuo ng mga AI agent nang lokal nang epektibo. Nakakatulong ito na unahin ang bandwidth at memory kaysa sa mga magarbong numero ng TOPS, nagbibigay ng gabay sa kung aling mga modelo sa pamilya ng Qwen 3.5 ang gagamitin bilang benchmark, at nag-aalok ng malinaw na paghahambing ng presyo, pagganap, at kahusayan upang matulungan kang pumili ng hardware nang hindi nagbabayad nang labis.
Masigasig na manunulat tungkol sa mundo ng mga byte at teknolohiya sa pangkalahatan. Gustung-gusto kong ibahagi ang aking kaalaman sa pamamagitan ng pagsusulat, at iyon ang gagawin ko sa blog na ito, ipakita sa iyo ang lahat ng mga pinaka-kagiliw-giliw na bagay tungkol sa mga gadget, software, hardware, teknolohikal na uso, at higit pa. Ang layunin ko ay tulungan kang mag-navigate sa digital na mundo sa simple at nakakaaliw na paraan.