Paikallisen tekoälyn maailmaan astuminen saattaa aluksi tuntua pelottavalta tehtävältä, mutta todellisuudessa elämme kulta-aikaa. Et enää tarvitse kellaritason datakeskusta mallien päättelyn suorittamiseen ; nykyään hyvin konfiguroidun tiimin avulla sinulla voi olla oma yksityinen avustaja, joka ei ole riippuvainen pilvestä tai kuukausimaksuista.
Kun puhumme mallien suorittamisesta paikallisesti, viittaamme pohjimmiltaan päättelyvaiheeseen , jossa koulutettu malli käsittelee uutta dataa antaakseen meille vastauksen. Toisin kuin kouluttaminen, joka on valtava tehtävä, joka vaatii tuhansia näytönohjaimia, päättely on paljon helpommin hallittavissa, ja tässä Applen sirut tekevät vahvan vaikutuksen tehokkaan virranhallintansa ja innovatiivisen arkkitehtuurinsa ansiosta.
Menestyksen salaisuus: Yhtenäinen muisti
Jos Macit erottaa toisistaan yksi asia, se on Unified Memory Architecture (UMA) . Perinteisessä PC:ssä tiedot on siirrettävä järjestelmän RAM-muistista näytönohjaimen VRAM-muistiin, ja siinä menetetään arvokasta aikaa. M4-, M3 Ultra- ja vastaavissa siruissa sekä suoritin että näytönohjain käyttävät samaa muistia, mikä vähentää merkittävästi viivettä tensoreiden käsittelyssä.
Tämä on elintärkeää, kun haluamme ladata keskikokoisia tai suuria LLM-malleja (Large Language Model). Esimerkiksi Mac Studio, jossa on runsaasti RAM-muistia, voi tukea malleja, jotka PC-maailmassa vaatisivat useita NVIDIA A6000 -näytönohjaimia , mikä johtaa valtaviin säästöihin kustannuksissa ja ennen kaikkea sähkölaskussa, koska kulutus on murto-osa siitä, mitä pelitietokone käyttäisi.
Kvantisointi ja formaatit: Kuinka malli saadaan sopimaan
Estääksemme 70 biljoonan parametrin omaavan mallin kaatumasta koneesi toimintaan, käytämme kvantisointia . Pohjimmiltaan tämä tarkoittaa numeroiden tarkkuuden vähentämistä (FP32:sta INT8:aan tai jopa 4 bittiin), mikä kutistaa mallia ja nopeuttaa vastetta tekemättä siitä "tyhmää" tai aiheuttamatta sen koherenssin menetystä.
- GGUF: Se on ensisijainen muoto niille, jotka käyttävät suoritinta tai suorittimen ja näytönohjaimen yhdistelmää. Se on yksi tiedosto, joka sisältää kaiken tarvittavan, ja se on standardi... call.cpp.
- GPTQ: Suunniteltu erityisesti toimimaan näytönohjaimilla, optimoiden prosessointinopeutta.
- Turvalukot: Paljon turvallisempi vaihtoehto kuin perinteiset .bin-tiedostot, koska se estää haitallisen koodin suorittamisen mallia ladattaessa.
Olennaiset työkalut ympäristösi luomiseen
Jos et halua kamppailla terminaalin kanssa alusta alkaen, on olemassa muutamia erittäin yksinkertaisia vaihtoehtoja. LM Studio on luultavasti käyttäjäystävällisin työkalu: se on all-in-one-ratkaisu, jonka graafinen käyttöliittymä antaa sinun ajaa tekoälymalleja paikallisesti ja käynnistää ne yhdellä napsautuksella. Voit jopa määrittää paikallisen OpenAI-yhteensopivan API-palvelimen integroidaksesi tekoälyn omiin sovelluksiisi.
Toisaalta meillä on Ollama , kruununjalokivi niille, jotka pitävät kevyemmästä tai komentorivipohjaisesta ratkaisusta. Se on avoimen lähdekoodin ja integroituu saumattomasti Open WebUI: hin , jolloin käyttöliittymä on identtinen ChatGPT:n kanssa, mutta toimii kokonaan omalla laitteistollasi. Saatavilla on myös pikaopas paikallisten LLM-ohjelmien suorittamiseen Ollamalla . Niille, jotka etsivät maksimaalista suorituskykyä macOS:ssä, Applen MLX- kehys on optimoitu vaihtoehto, jotta saat kaiken irti yrityksen piisiruista.
Laitteistodilemma: Siirrettävyys vai raaka voima?
Monet tutkijat ja kehittäjät ovat kahden polun välillä ristiriidassa. Ensimmäinen vaihtoehto on hankkia täysillä MacBook Pro M4 Max, jossa on runsaasti muistia (kuten 128 Gt). Etuna on nopea iteraatio : voit olla kahvilassa tai lentokoneessa testaamassa RAG (Recovery Augmented Generation) -prosessia ilman etäyhteyttä.
Vaihtoehto on Mac Studion ja kevyen kannettavan yhdistelmä. Studio on lämpöpeto; voit antaa sen suorittaa pitkiä laskentaa tuntikausia ilman, että tuuletin kuulostaa suihkumoottorin käynnistymiseltä. Tämä tuo kuitenkin mukanaan etäkäytön kitkan , joka edellyttää ympäristöjen ja tietojen synkronointia kahden eri koneen välillä, mikä voi häiritä luovaa työskentelyäsi.
Todelliset käyttötapaukset ja rajoitukset
Mac Mini M4:llä tai hyvin varustellulla MacBook Prolla voit määrittää RAG-järjestelmiä vektoritietokannoilla, kuten ChromaDB tai Qdrant, luoda paikallisia koodiassistentteja Aiderilla tai litteroida videoita automaattisesti paikallisen tekoälyn avulla ominaisuuksien poimimiseksi. Se on ihanteellinen prototyyppien luomiseen ja kvantisoitujen mallien käyttäytymisen arviointiin 7–70 miljardin parametrin avulla.
Älä kuitenkaan odota ihmeitä. Intensiivinen mallinnus tai monimutkainen hienosäätö eivät ole näiden koneiden vahvuuksia. Jos työnkulkusi perustuu vahvasti NVIDIA CUDA -ekosysteemeihin , kohtaat joitakin haasteita, sillä Metal (Applen API) ei ole saumaton korvaaja, vaikka päättelyn osalta ero onkin kaventunut huomattavasti.
Intohimoinen kirjoittaja tavujen maailmasta ja tekniikasta yleensä. Rakastan jakaa tietämykseni kirjoittamalla, ja sen aion tehdä tässä blogissa, näyttää sinulle kaikki mielenkiintoisimmat asiat vempaimista, ohjelmistoista, laitteistoista, teknologisista trendeistä ja muusta. Tavoitteeni on auttaa sinua navigoimaan digitaalisessa maailmassa yksinkertaisella ja viihdyttävällä tavalla.