- Mazo valodu modeļu (SLM) ieviešana un kvantizācija, lai palaistu mākslīgo intelektu lokālā aparatūrā, nepaļaujoties uz mākoņpakalpojumiem.
- Izmantojot RAG arhitektūru un vektoru datubāzes, lai iegūtu precīzas atbildes, pamatojoties uz privātiem dokumentiem.
- Aparatūras prasības, kas koncentrējas uz NVIDIA GPU VRAM un Apple Silicon vienoto atmiņu.
- Privātuma un datu suverenitātes priekšrocības, izmantojot semantisko indeksēšanu uzņēmuma NAS serveros.
Iedomājieties, ka digitālās smadzenes apstrādā visu jūsu privāto informāciju, pat neizejot no biroja. Vēl nesen mākslīgā intelekta sistēmas iestatīšana mājās bija NASA inženiera cienīgas galvassāpes, cīnoties ar koda atkarībām un aparatūru, kas darbojās karstāk nekā tosteris. Tomēr ainava ir radikāli mainījusies, un mūsdienās ir pilnīgi iespējams izvietot mazus valodu modeļus lokālās iekārtās, pārveidojot vienkāršu failu glabātuvi par inteliģentu palīgu.
Īstā revolūcija rodas līdz ar tīklam pievienotas krātuves (NAS) un mašīnmācīšanās apvienošanos perifērijā. Mēs vairs nerunājam par vienkāršām, nedefinētām ierīcēm, kas glabā tikai nulles un vieniniekus, bet gan par inteliģentiem serveriem ar neironu procesoriem (NPU), kas spēj dažu sekunžu laikā saprast fotoattēla saturu vai apkopot juridisku līgumu. Šī spēja apstrādāt datus, nepaļaujoties uz mākoņpakalpojumiem, nav tikai ērtības jautājums, bet gan spēcīgs vairogs jebkura uzņēmuma vai individuāla lietotāja privātumam, optimizējot lokālo krātuvi, nevis mākoņdatošanu.
NAS evolūcija: no cietā diska līdz digitālajām smadzenēm
Tradicionālā datu krātuve gadiem ilgi ir bijusi datu melnais caurums. Mazie un vidējie uzņēmumi (MVU) bieži uzkrāj terabaitus PDF failu, attēlu un video, kas galu galā tiek aprakti mapēs ar absurdiem nosaukumiem, piemēram, "final_v2_this_is_it". Problēma ir tā, ka parastais NAS nespēj atpazīt, ka fotoattēls ir mārketinga displejs; tas redz tikai failu. Šeit noder mākslīgā intelekta NAS , kas izmanto tādus uzlabotus procesorus kā AMD Ryzen ar neironu apstrādes blokiem (NPU), lai semantiski indeksētu saturu.
Pateicoties tam, mēs varam ieviest semantisko meklēšanu . Tā vietā, lai meklētu precīzu faila nosaukumu, jūs pajautājat serverim: "Atnesiet man mākslas darba fotoattēlus lietū", un mākslīgais intelekts, kas jau ir analizējis attēlus, izmantojot vizuālās valodas modeļus (VLM), atgriež precīzus rezultātus. Šī sistēma ļauj aparatūrai, piemēram, Minisforum N5 sērijai, veikt objektu atpazīšanu reāllaikā un OCR , ietaupot radošajām vai administratīvajām komandām stundām ilgu manuālu darbu.
Mazo valodu modeļi (SLM) pret milzu valodu modeļiem (LLM)
Lai tas viss darbotos lokālā serverī, neradot sistēmas avāriju, tiek izmantoti mazo valodu modeļi (SLM) . Lai gan LLM (piemēram, GPT-4) ir miljardiem parametru un tiem ir nepieciešamas serveru fermas, SLM parasti ir mazāk nekā 10 miljardi parametru. Modeļi, piemēram, Microsoft Phi-3, Mistral 7B vai Gemma, ir ideāli piemēroti lokālai izvietošanai, jo tie ir daudz ātrāki, patērē mazāk RAM un ir mazāk pakļauti pārregulēšanai.
Lai šie modeļi darbotos uz pieticīgas aparatūras, galvenais ir kvantizācija . Šī metode ietver modeļa svaru precizitātes samazināšanu (piemēram, no FP32 uz INT8 vai INT4), kas ievērojami samazina atmiņas izmantošanu, nepadarot modeli neinteliģentu. Tas ļauj jaudīgam modelim ietilpt patērētāja grafikas kartes VRAM vai Mac apvienotajā atmiņā, paātrinot secinājumus un padarot atbildes gandrīz momentānas.
Uzlabotas arhitektūras: RAG un tehniskā izvietošana
Lai nepieļautu, ka mākslīgais intelekts izdomā lietas (bēdīgi slavenās halucinācijas), tiek izmantota metode, ko sauc par paplašinātās ģenerēšanas atsaukšanu (RAG ). Tā vietā, lai paļautos tikai uz to, ko modelis iemācījies apmācības laikā, sistēma sadala jūsu lokālos dokumentus fragmentos, pārveido tos skaitliskos vektoros (iegultos elementos) un saglabā tos vektoru datubāzē, piemēram, FAISS . Kad uzdodat jautājumu, sistēma meklē jūsu failos visatbilstošāko teksta fragmentu un nodod to modelim, lai ģenerētu atbildi, pamatojoties uz reāliem, lokāliem pierādījumiem.
Ja esat ieinteresēts kodēšanā, varat iestatīt šo vidi, izmantojot FastAPI saskarnei un LangChain, lai pārvaldītu uzvednes. Tipiska darbplūsma ietvertu kvantizēta modeļa ielādi, izmantojot Hugging Face Transformers bibliotēku, savienojumu ar vektoru datubāzi un visa satura atsegšanu, izmantojot REST API. Tiem, kas nevēlas rakstīt kodu, ir pieejami rīki, piemēram, lokālu LLM palaišana ar Ollama vai LM Studio, kas pārvalda modeļu lejupielādi un izpildi ar vienu klikšķi, pat ļaujot pārslēgties starp lokāliem modeļiem un mākoņpakalpojumiem atkarībā no datu sensitivitātes.
Ieteicamā aparatūra lokālajam mākslīgajam intelektam
Aparatūra ir galvenā vājā vieta. PC ekosistēmā GPU VRAM ir galvenais faktors; RTX 4090 ar 24 GB ir zelta standarts ērtai modeļu darbināšanai ar parametriem līdz pat 30B. No otras puses, Apple Silicon mikroshēmas (M2/M3/M4) ir pārsteidzoši efektīvas, pateicoties to vienotajai atmiņai, kas atvieglo lokālo AI secinājumu veikšanu macOS sistēmā , kas ļauj GPU piekļūt visai sistēmas RAM, tādējādi atvieglojot lielāku modeļu darbināšanu nekā parastajā datorā.
- Ievades diapazons: Sistēmas ar 16 GB RAM un pieticīgiem GPU modeļiem ar parametriem no 3B līdz 7B.
- Vidējā diapazonā: Jaudīgas NAS ierīces vai Mac datori ar 32–64 GB RAM 13B līdz 20B modeļiem ar kvantizāciju.
- Profesionālais klāsts: Vairāku GPU darbstacijas (A6000 vai 4090) 70B modeļiem vai jaunākiem.
Tādi zīmoli kā QNAP jau integrē tādas funkcijas kā Qsirch AI Mode , kas apvieno VLM un LLM, lai apkopotu dokumentus, tulkotu tekstus un noteiktu precīzus momentus video vai audio ierakstos, izmantojot automātisko transkripciju (ASR), vienlaikus ievērojot lietotāju atļaujas un neizejot no lokālā tīkla.
Ieviešanas un drošības stratēģijas
Lokālas mākslīgā intelekta sistēmas palaišana uzņēmumā ir kas vairāk nekā tikai programmatūras instalēšana. Ir svarīgi ievērot 3-2-1 dublēšanas noteikumu (trīs kopijas, divas datu nesējā, viena ārpus uzņēmuma), lai izvairītos no mākslīgā intelekta indeksa zaudēšanas aparatūras kļūmes gadījumā, vienmēr izvērtējot labāko dublēšanas stratēģiju starp lokālo krātuvi un mākoņkrātuvi . Turklāt ieteicams indeksēt datus partijās nakts laikā, lai izvairītos no biroja joslas platuma pārslodzes, kamēr darbinieki strādā.
Izvietošanu sarežģītākās vidēs var atbalstīt Kubernetes (AKS) un operatori, piemēram, KAITO, kas automatizē GPU mezglu pārvaldību un modeļu mērogošanu. Tas nodrošina stabilu infrastruktūru un novērš mākslīgā intelekta avārijas, kad vairāki lietotāji vienlaikus izpilda vaicājumus. Datu suverenitāte šeit ir vislielākā priekšrocība: likvidējot atkarību no ikmēneša abonementiem un neļaujot mākoņpakalpojumu sniedzējiem apmācīt savus modeļus ar jūsu datiem , jūs atgūstat pilnīgu kontroli pār savu intelektuālo īpašumu.
Specializētas aparatūras, kompaktu modeļu, kas optimizēti ar kvantizācijas palīdzību, un lokālo datu atkopšanas arhitektūru konverģence tagad ļauj izveidot darba ekosistēmas, kurās privātums ir ārkārtīgi svarīgs. Integrējot šos rīkus jaudīgā NAS vai darbstacijā, informācijas pārvaldība tiek pārveidota par aktīvu un semantisku procesu, novēršot manuālas meklēšanas radīto berzi un nodrošinot, ka korporatīvās zināšanas vienmēr ir pieejamas un aizsargātas.
Kaislīgs rakstnieks par baitu pasauli un tehnoloģiju kopumā. Man patīk dalīties savās zināšanās rakstot, un tieši to es darīšu šajā emuārā, parādot visu interesantāko informāciju par sīkrīkiem, programmatūru, aparatūru, tehnoloģiju tendencēm un daudz ko citu. Mans mērķis ir palīdzēt jums vienkāršā un izklaidējošā veidā orientēties digitālajā pasaulē.