Ienākt lokālā mākslīgā intelekta pasaulē sākumā varētu šķist ļoti sarežģīts uzdevums, taču patiesībā mēs dzīvojam zelta laikmetā. Lai to izdarītu, vairs nav nepieciešams datu centrs pagrabā. modeļa secinājumsMūsdienās ar labi konfigurētu komandu jūs varat iegūt savu privāto asistentu, kas nav atkarīgs no mākoņa vai ikmēneša abonementiem.
Kad mēs runājam par modeļu darbību lokāli, mēs būtībā domājam fāzi secinājumsTas notiek, kad iepriekš apmācīts modelis apstrādā jaunus datus, lai sniegtu atbildi. Atšķirībā no apmācības, kas ir monumentāls uzdevums, kam nepieciešami tūkstošiem GPU, secinājumu izdarīšana ir daudz vieglāk pārvaldāma, un tieši šeit Apple mikroshēmas rada spēcīgu ietekmi, pateicoties to... efektīva enerģijas pārvaldība un tās inovatīvo arhitektūru.
Panākumu noslēpums: vienotā atmiņa
Ja ir viena lieta, kas Mac datorus atšķir no citiem, tā ir Vienotā atmiņas arhitektūra (UMA)Tradicionālā datorā dati ir jāpārvieto no sistēmas RAM uz grafikas kartes VRAM, un tieši šeit tiek zaudēts vērtīgs laiks. M4, M3 Ultra vai līdzīgās mikroshēmās centrālais procesors un grafiskais procesors izmanto vienu un to pašu atmiņas kopu, kas... samazina latentumu krasi, rīkojoties ar spriegotājiem.
Tas ir vitāli svarīgi, ja vēlamies ielādēt vidēja vai liela izmēra LLM (lielus valodu modeļus). Piemēram, Mac Studio ar lielu RAM apjomu var apstrādāt modeļus, kuriem personālajā datorā būtu nepieciešams daudz vairāk resursu. vairākas NVIDIA A6000 kartesTas nozīmē milzīgu izmaksu ietaupījumu un, galvenais, elektrības rēķina ietaupījumu, jo patēriņš ir niecīga daļa no tā, ko izmantotu spēļu tornis.
Kvantizācija un formāti: Kā pielāgot modeli
Lai novērstu modeļa ar 70 triljoniem parametru radītu jūsu iekārtas avāriju, mēs izmantojam kvantēšana. Básicamente, consiste en reducir la precisión de los números (pasar de FP32 a INT8 o incluso 4 bits), lo que encoge el modelo y acelera la respuesta sin que el modelo se vuelva «tonto» o pierda coherencia.
- GGUF: Tas ir vēlamais formāts tiem, kas izmanto centrālo procesoru vai centrālā procesora un grafiskā procesora kombināciju. Tas ir viens fails, kurā ir viss nepieciešamais, un tas ir standarts call.cpp.
- GPTQ: Īpaši izstrādāts darbam ar GPU, optimizējot apstrādes ātrumu.
- Drošinātāji: Daudz drošāka iespēja nekā tradicionālie .bin faili, jo tā novērš ļaunprātīga koda izpildi modeļa ielādes laikā.
Svarīgi rīki jūsu vides iestatīšanai
Ja nevēlaties mocīties ar termināli jau no pirmās minūtes, ir ļoti vienkāršas iespējas. LM studija es probablemente la herramienta más amigable: es un «todo en uno» con interfaz gráfica que te permite palaist AI modeļus lokāli un palaist tos ar vienu klikšķi. Varat pat iestatīt lokālais API serveris Saderīgs ar OpenAI, lai integrētu mākslīgo intelektu savās lietotnēs.
No otras puses, mums ir Ollamakas ir īsts dārgakmens tiem, kas dod priekšroku kaut kam vieglākam vai uz komandām balstītam. Tas ir atvērtā koda un nemanāmi integrējas ar Atveriet WebUIļaujot jums izmantot saskarni, kas ir identiska ChatGPT, bet pilnībā darbojas uz jūsu aparatūras, izmantojot Īsa pamācība vietējo LLM programmu vadīšanai ar OllamaTiem, kas meklē maksimālu veiktspēju operētājsistēmā macOS, šis ietvars Apple MLX Tā ir optimizēta iespēja, lai maksimāli izmantotu zīmola silīciju.
Aparatūras dilemma: pārnesamība vai neapstrādāta jauda?
Daudzi pētnieki un izstrādātāji ir saplosīti starp diviem ceļiem. Pirmā iespēja ir pilnībā iesaistīties MacBook Pro M4 Max ar lielu atmiņas apjomu (piemēram, 128 GB). Priekšrocība ir tā, ka ātra iterācijaJūs varat atrasties kafejnīcā vai lidmašīnā, testējot RAG (Recovery Augmented Generation — atkopšanas paplašinātās paaudzes) cauruļvadu, nepaļaujoties uz attālo savienojumu.
Alternatīva ir kombinācija MacStudio un viegls klēpjdators. Studio ir termisks zvērs; to var atstāt ieslēgtu stundām ilgi, un ventilators neizklausās pēc reaktīvā dzinēja pacelšanās. Tomēr tas ievieš attālās piekļuves berzeNepieciešamība sinhronizēt vides un datus starp divām dažādām iekārtām var traucēt radošo plūsmu.
Reālās pasaules lietošanas gadījumi un ierobežojumi
Ar Mac Mini M4 vai labi aprīkotu MacBook Pro jūs varat veidot sistēmas, kas sastāv no RAG ar vektoru datubāzēm piemēram, ChromaDB vai Qdrant, izveidojiet lokālus koda palīgus ar Aider vai Automātiski transkribējiet video, izmantojot lokālo mākslīgo intelektu entītiju iegūšanai. Tas ir ideāli piemērots prototipu veidošanai un kvantizētu modeļu uzvedības novērtēšanai ar parametriem no 7B līdz 70B.
Tomēr mums nevajadzētu censties radīt brīnumus. Intensīva modeļu apmācība vai precizējošais komplekss Šīs komandas nav stiprās puses. Ja jūsu darbplūsma ir pilnībā atkarīga no CUDA ekosistēmas Izmantojot NVIDIA, jūs saskarsieties ar dažiem šķēršļiem, jo Metal (Apple API) nav caurspīdīgs aizvietotājs, lai gan secinājumu ziņā atšķirība ir ievērojami samazinājusies.
Kaislīgs rakstnieks par baitu pasauli un tehnoloģiju kopumā. Man patīk dalīties savās zināšanās rakstot, un tieši to es darīšu šajā emuārā, parādot visu interesantāko informāciju par sīkrīkiem, programmatūru, aparatūru, tehnoloģiju tendencēm un daudz ko citu. Mans mērķis ir palīdzēt jums vienkāršā un izklaidējošā veidā orientēties digitālajā pasaulē.