Kujutage ette, et teil on digitaalse aju võimsus, mis töötleb kogu teie privaatset teavet ilma ühtegi bitti kontorist lahkumata. Kuni viimase ajani oli tehisintellekti süsteemi seadistamine kodus NASA insenerile vääriline peavalu, võideldes koodisõltuvuste ja riistvaraga, mis töötas kuumemalt kui röster. Kuid maastik on radikaalselt muutunud ja tänapäeval on täiesti teostatav väikeste keelemudelite juurutamine kohalikele masinatele, muutes lihtsa failisalvestuse intelligentseks assistendiks.
Tõeline revolutsioon saabub võrgusalvestuse (NAS) ja masinõppe ühinemisega servas. Me ei räägi enam lihtsatest, määratlemata seadmetest, mis salvestavad ainult nulle ja ühtesid, vaid intelligentsetest serveritest, mille NPU-d suudavad sekunditega aru saada fotol olevast või juriidilise lepingu kokku võtta. See võime andmeid pilveta töödelda ei ole ainult mugavuse küsimus, vaid ka tugev kaitse iga ettevõtte või üksikkasutaja privaatsusele, optimeerides kohalikku salvestust pilvandmetöötluse asemel.
NAS-i areng: kõvakettast digitaalseks ajuks
Traditsiooniline salvestusruum on aastaid olnud andmete must auk. Väikesed ja keskmise suurusega ettevõtted (VKEd) koguvad sageli terabaite PDF-faile, pilte ja videoid, mis lõpuks maetakse absurdsete nimedega kaustadesse nagu "final_v2_this_is_it". Probleem on selles, et tavapärane NAS ei suuda tuvastada, et foto on turundusväljapanek; see näeb ainult faili. Siin tulebki mängu tehisintellektil põhinev NAS , mis kasutab sisu semantiliseks indekseerimiseks täiustatud protsessoreid nagu AMD Ryzen koos närviprotsessoritega (NPU-dega).
Tänu sellele saame rakendada semantilist otsingut . Täpse failinime otsimise asemel küsite serverilt: "Tooge mulle fotod kunstiteosest vihmas" ja tehisintellekt, mis on pilte juba visuaalsete keelemudelite (VLM) abil analüüsinud, tagastab täpsed tulemused. See süsteem võimaldab riistvaral, näiteks Minisforum N5 seerial, teostada reaalajas objektide tuvastamist ja optilist tekstituvastust , säästes loomingulistel või administratiivsetel meeskondadel tunde käsitsi tööd.
Väikekeelte mudelid (SLM) vs. hiiglaslikud keelemudelid (LLM)
Selleks, et see kõik kohalikus serveris süsteemi krahhi tegemata töötaks, kasutatakse väikeseid keelemudeleid (SLM-e) . Kuigi LLM-idel (nagu GPT-4) on miljardeid parameetreid ja need vajavad serverifarme, on SLM-idel tavaliselt vähem kui 10 miljardit parameetrit. Mudelid nagu Microsofti Phi-3, Mistral 7B või Gemma sobivad ideaalselt kohalikeks juurutusteks, kuna need on palju kiiremad, tarbivad vähem RAM-i ja on vähem altid ülehäälestamisele.
Nende mudelite tagasihoidliku riistvaraga toimima panemise võti on kvantiseerimine . See tehnika hõlmab mudeli kaalude täpsuse vähendamist (näiteks FP32-lt INT8-le või INT4-le), mis vähendab drastiliselt mälukasutust, muutmata mudelit ebaintelligentseks. See võimaldab võimsal mudelil mahuda tarbija graafikakaardi videomälu või Maci ühendatud mällu, kiirendades järelduste tegemist ja muutes vastused peaaegu koheseks.
Täiustatud arhitektuurid: RAG ja tehniline juurutamine
Selleks, et tehisintellekt ei saaks asju välja mõelda (kurikuulsad hallutsinatsioonid), kasutatakse tehnikat nimega Recall Augmented Generation (RAG ). Selle asemel, et tugineda ainult sellele, mida mudel treenimise ajal õppis, jagab süsteem teie kohalikud dokumendid tükkideks, teisendab need numbrilisteks vektoriteks (manusteks) ja salvestab need vektorandmebaasi nagu FAISS . Kui esitate küsimuse, otsib süsteem teie failidest kõige asjakohasemat tekstifragmenti ja edastab selle mudelile, et genereerida vastus reaalsete kohalike tõendite põhjal.
Kui oled kodeerimisest huvitatud, saad selle keskkonna seadistada, kasutades liidese jaoks FastAPI-d ja käskude haldamiseks LangChaini. Tüüpiline töövoog hõlmaks kvantiseeritud mudeli laadimist Hugging Face'i Transformersi teeki abil, ühenduse loomist vektorandmebaasiga ja kõige kuvamist REST API kaudu. Neile, kes ei eelista koodi kirjutada, on olemas tööriistad, näiteks kohalike LLM-ide käitamine Ollama või LM Studio abil, mis haldavad mudelite allalaadimist ja käivitamist ühe klõpsuga, võimaldades teil isegi vahetada kohalike mudelite ja pilveteenuste vahel, olenevalt teie andmete tundlikkusest.
Soovitatav riistvara kohaliku tehisintellekti jaoks
Peamine kitsaskoht on riistvara. PC ökosüsteemis on graafikakaardi videomälu (GPU VRAM) kuningas; 24 GB mäluga RTX 4090 on kuldstandard kuni 30B parameetriga mudelite mugavaks käitamiseks. Teisest küljest on Apple Siliconi kiibid (M2/M3/M4) üllatavalt tõhusad tänu oma ühendatud mälule, mis hõlbustab macOS-is lokaalset tehisintellekti järeldamist , mis võimaldab graafikakaardil juurde pääseda kogu süsteemi muutmälule, muutes suuremate mudelite käitamise lihtsamaks kui tavalisel arvutil.
- Sisestusvahemik: Süsteemid 16 GB muutmälu ja tagasihoidliku graafikaprotsessoriga mudelite jaoks, mille parameetrid on 3B kuni 7B.
- Keskklass: Võimsad NAS-seadmed või Macid 32–64 GB muutmäluga 13–20 GB kvantiseerimisega mudelite jaoks.
- Professionaalne valik: Mitme GPU-ga tööjaamad (A6000 või 4090) mudelitele 70B või uuematele.
Brändid nagu QNAP integreerivad juba selliseid funktsioone nagu Qsirch AI Mode , mis ühendab VLM-i ja LLM-i dokumentide kokkuvõtmiseks, tekstide tõlkimiseks ja videote või helide täpsete hetkede leidmiseks automaatse transkriptsiooni (ASR) abil, austades samal ajal kasutajaõigusi ja ilma, et andmed kohalikust võrgust lahkuksid.
Rakendamise ja turbestrateegiad
Ettevõttes kohapealse tehisintellekti süsteemi käivitamine on enamat kui lihtsalt tarkvara installimine. Tehisintellekti indeksi kaotamise vältimiseks riistvara rikke korral on oluline järgida 3-2-1 varundamise reeglit (kolm koopiat, kaks andmekandjal, üks väljaspool kontorit), hinnates alati parimat varundusstrateegiat kohapealse ja pilvesalvestuse vahel . Lisaks on soovitatav andmeid indekseerida partiidena üleöö, et vältida kontori ribalaiuse ülekoormamist töötajate töötamise ajal.
Keerukamates keskkondades juurutamist saavad toetada Kubernetes (AKS) ja operaatorid nagu KAITO, mis automatiseerivad GPU-sõlmede haldust ja mudeli skaleerimist. See tagab tugeva infrastruktuuri ja hoiab ära tehisintellekti krahhid, kui mitu kasutajat käivitavad päringuid samaaegselt. Andmete suveräänsus on siin suurim eelis: kaotades sõltuvuse kuutasudest ja takistades pilveteenuse pakkujatel oma mudeleid teie andmetega treenimast , saate tagasi täieliku kontrolli oma intellektuaalomandi üle.
Spetsialiseeritud riistvara, kvantiseerimise abil optimeeritud kompaktsete mudelite ja lokaalsete andmete taastamise arhitektuuride koondumine võimaldab nüüd luua tööökosüsteeme, kus privaatsus on esmatähtis. Nende tööriistade integreerimisega võimsasse NAS-i või tööjaama muudetakse teabehaldus aktiivseks ja semantiliseks protsessiks, kõrvaldades käsitsi otsingute hõõrdumise ja tagades, et ettevõtte teadmised on alati kättesaadavad ja kaitstud.
Kirglik kirjanik baitide maailmast ja üldse tehnoloogiast. Mulle meeldib jagada oma teadmisi kirjutamise kaudu ja just seda ma selles ajaveebis teengi, näitan teile kõike kõige huvitavamat vidinate, tarkvara, riistvara, tehnoloogiliste suundumuste ja muu kohta. Minu eesmärk on aidata teil digimaailmas lihtsal ja meelelahutuslikul viisil navigeerida.