LLM-sprogmodeller: hvad de er, og hvordan de fungerer

masse store sprogmodeller eller LLMDe har sneget sig ind i vores samtaler, ligesom smartphones gjorde i deres tid: næsten uden at vi bemærker det, og de ændrer fuldstændigt den måde, vi arbejder, søger efter information og kommunikerer med teknologi på. De er fundamentet for værktøjer som ChatGPT, Gemini, Claude og Copilot, og de står bag næsten alle moderne smarte assistenter.

Hvis du nogensinde har spekuleret på det Hvad er en LLM præcist, og hvordan fungerer den internt?Hvordan adskiller det sig fra klassiske AI-modeller, eller hvorfor er der så meget snak om parametre, tokens, kontekstvindue eller kvantisering? Her finder du en dybdegående forklaring, men i et klart og tilgængeligt sprog, uden at det går ud over den tekniske stringens.

Hvad er en LLM-sprogmodel?

Un LLM (Large Language Model) Det er en kunstig intelligensmodel baseret på deep learning, der trænes på enorme mængder tekst for at kunne at forstå, generere og transformere menneskeligt sprog med en flydende tale, der minder meget om en persons.

I bund og grund er en LLM et system, der, givet en inputtekst, Forudsig, hvad det næste tekstfragment skal være. (token) baseret på mønstre, den har lært ved at læse milliarder af eksempler: bøger, artikler, hjemmesider, teknisk dokumentation, samtaler, kode og andre tekstressourcer.

ordet "stor" (grande) Det refererer både til mængden af ​​træningsdata og til antal parametre som modellen har: det kan være hundredvis af millioner, milliarder eller endda hundredvis af milliarder af parametre, der definerer, hvordan modellen reagerer på hvert input.

I modsætning til klassiske regelbaserede eller simple statistiske systemer er LLM'er i stand til at at indfange dybe relationer i sprogetDe forstår nuancer, kontekst, ironi til en vis grad, komplekse instruktioner og meget rigere ræsonnementsstrukturer.

Fra GPT og Transformers til moderne LLM'er

Når vi taler om modeller som f.eks. GPT-4Claude eller Llama, vi refererer faktisk til LLM'er baseret på Transformer-arkitekturen, præsenteret i 2017 i den berømte artikel “Attention Is All You Need”. Denne arkitektur markerede et vendepunkt inden for naturlig sprogbehandling.

stande GPT De står for "Generativ præ-trænet transformer": det vil sige en model generativ (producerer nyt indhold), præ-trænet (den trænes først massivt med store tekstkorpora) og er baseret på en transformer, den neurale netværksarkitektur, der gør moderne LLM'er mulige.

Det, der adskiller Transformers fra ældre modeller, såsom tilbagevendende neurale netværk (RNN'er), er, at de kan bearbejde hele tekstsekvenser parallelt Takket være den opmærksomhedsfokuserede tilgang, i stedet for at fortsætte trin for trin på en strengt sekventiel måde, gør dette træningen langt mere effektiv og skalerbar.

Moderne LLM'er har taget denne idé til det ekstreme: modeller med milliarder af parametretrænet med enorme tekstmængder, i stand til at tilnærme sig menneskelig ydeevne i mange sprogopgaver og til at overgå klassiske systemer inden for oversættelse, opsummering, kodegenerering eller analyse af store tekstmængder.

Tokens: den mindste enhed, som en LLM "ser"

For en LLM håndteres tekst ikke som individuelle bogstaver eller nødvendigvis som komplette ord, men som poletter, som er små tekstenheder, der kan være et kort ord, en del af et ord, et tegnsætningstegn eller endda et mellemrum.

For eksempel ordet "jordbær" kan opdeles i tokens "strå" y "bær"Modellen ser ikke de enkelte bogstaver eller tæller, hvor mange "r" der er: den ser kun de to blokke. Derfor kan den tage fejl, hvis du spørger den, hvor mange "r" der er i "jordbær"; det er ikke, at den "ikke kan tælle", det er, at Det fungerer ikke på bogstavniveau, men på tokenniveau..

Under forbehandlingen opdeles hele træningsteksten i tokens, og hvert token repræsenteres af en numerisk identifikatorModellen arbejder på sekvenser af disse identifikatorer, ikke på rå tekst, hvilket gør det muligt at håndtere ethvert sprog eller blanding af sprog på en systematisk måde.

Indlejringer og vektorrepræsentationer

Når teksten er blevet opdelt i tokens, konverteres hvert token til en numerisk vektor kaldet indlejringsom er en matematisk repræsentation af dens betydning og dens anvendelse i forskellige sammenhænge.

Disse indlejringer er højdimensionelle vektorer, hvor hver komponent indfanger et semantisk eller syntaktisk aspekt: tokens, der optræder i lignende sammenhænge De ender med at have tætte repræsentationer i det vektorrum. Således vil begreber som "hund" og "gø" være meget tættere på hinanden end "gø" og "træ", når konteksten refererer til kæledyr.

Udover at repræsentere mening, tilføjer modellerne positionskodningersom angiver positionen i sekvensen, hvor hvert token vises. På denne måde ved modellen ikke kun, hvilket token der er til stede, men også hvor vises, og hvordan det hænger sammen med de andre i sætningen.

Den interne motor: Transformerarkitektur og egenomsorg

Hjertet i en moderne LLM er transformernetværket, som er bygget med flere lag af kunstige neuronerPå hvert lag transformeres input-indlejringerne, hvilket genererer stadig mere rige og kontekstuelle repræsentationer af teksten.

Det centrale element er mekanismen bag selvopmærksomhedDette gør det muligt for modellen at "beslutte" hvilke dele af teksten der skal være mere opmærksom på, når den behandler hvert token. Dette gøres ved at projicere hver indlejring på tre vektorer: forespørgsel, nøgle og værdi, opnået ved hjælp af vægtmatricer lært under træning.

Forespørgslen repræsenterer, hvad et token "søger efter", nøglen registrerer de oplysninger, som hvert token "tilbyder", og værdien indeholder den repræsentation, der vil blive kombineret på en vægtet måde. Modellen beregner lighedsscorer mellem forespørgsler og nøgler for at bestemme hvilke tokens der er relevante for hver position.

Disse scorer er normaliseret for at opnå opmærksomhed pesosDisse angiver, hvor meget information fra hvert token (gennem dets værdi) bidrager til den endelige repræsentation af det faktiske token. Således kan modellen fokusere på relevante nøgleord og "ignorere" eller give mindre vægt til mindre vigtige termer såsom determinanter eller neutrale konjunktioner.

Denne mekanisme skaber et netværk af vægtede relationer mellem alle tokens af sekvensen, og den gør det parallelt, hvilket gør arkitekturen meget effektiv sammenlignet med traditionelle tilbagevendende netværk.

Modelparametre, vægte og kapacitet

LLM'er består af et stort antal vægte eller parametreDette er interne variabler, der justeres under træning, og som bestemmer, hvordan information transformeres i hvert lag.

En model med 7 milliarder parametre (7.000B) betragtes som relativt lille inden for LLM'ernes verden, mens en med 70 milliarder (70.000B) allerede falder ind under den store kategori, og modeller over 400.000 milliarder parametre er sande giganter, der kræver hardwareinfrastruktur for datacenter.

I praksis er antallet af parametre et groft mål for "Intellektuel kapacitet" af modellenJo flere parametre, desto mere komplekse sprogmønstre kan den lære, og desto mere sofistikeret kan dens ræsonnement blive. Større er dog ikke altid bedre for alle anvendelsesscenarier: datakvalitet, arkitektur og finjustering spiller også en rolle.

De mindre modeller, de såkaldte lille LLMDe er ideelle til at køre på enheder med begrænsede ressourcer eller i lokale miljøer, hvilket ofrer en vis ræsonnementsevne til fordel for lethed og privatliv.

Sådan uddanner du en LLM

LLM-uddannelse involverer at læse enorme mængder tekst og lære at forudsig den næste token fra en sekvens baseret på de foregående. Under denne proces konfronteres modellen med millioner eller milliarder af eksempler udtrukket fra dens træningskorpus.

Ved hvert trin genererer modellen en forudsigelse for den næste token; derefter sammenlignes denne forudsigelse med den faktiske token, og en tabsfunktion hvilket kvantificerer fejlen. Modelvægtene opdateres derefter ved hjælp af tilbagepropagation og gradientnedstigning, og korrigerer hver parameter en smule for at reducere fejlen.

Denne løkke af forudsig, mål fejlen og juster Det gentages massivt, indtil modellen konvergerer mod et sæt vægte, der gør det muligt at generere sammenhængende tekst med god grammatik, en vis ræsonnementsevne og faktuel viden lært fra dataene.

I modeller som GPT-4 og senere tilføjes der derefter en fase til denne massive træning. Forstærkning af læring med menneskelig feedback, hvor mennesker (og nogle gange andre modeller) evaluerer reaktioner og hjælper med at justere adfærd, så den bedre stemmer overens med menneskelige præferencer, og så vidt muligt undgår giftige, forkerte eller upassende reaktioner.

Genereringsproces: hvordan en LLM skriver

Når du interagerer med en LLM (for eksempel ved at skrive en prompt i en chatbot), er den interne proces en slags superladet autofyldningDen tekst, du skriver, tokeniseres, konverteres til indlejringer og sendes gennem transformerlagene.

Lag for lag justerer modellen disse indlejringer og tager højde for konteksten og relationerne mellem tokens takket være selvopmærksomhed. I sidste ende producerer den en sandsynlighedsfordeling om alle de mulige tokens, der kunne komme bagefter.

Baseret på denne fordeling vælger systemet den næste token efter en stikprøvestrategi som kan være mere eller mindre deterministisk. Hvis temperatur Hvis den er sat til 0.0, vil modellen næsten altid vælge det mest sandsynlige token, hvilket giver meget stabile og ukreative svar, ideelt til kode- eller numeriske opgaver.

Med højere temperaturer (0,8 – 1,0) bliver valget mere risikabelt: modellen Udforsk mindre sandsynlige, men mere varierede tokensDette genererer mere kreative svar, som er nyttige til brainstorming, narrativ skrivning eller reklamer. Hvis temperaturen presses for højt (over ~1,5), kan outputtet blive usammenhængende med "vrøvl" eller meningsløse vendinger.

Denne proces gentages token for token: hvert nyt token tilføjes til inputsekvensen, og modellen genberegner outputtet, indtil en maksimal længde eller et særligt fuldførelsestoken er nået.

Kontekstvindue: modellens korttidshukommelse

Et centralt aspekt af LLM-oplevelsen er dens kontekstvinduehvilket er det maksimale antal tokens, den kan tage i betragtning ved et enkelt "blik". Det er i praksis dens korttidshukommelse.

Tidlige modeller arbejdede med kontekstvinduer på omkring 4.000 tokens, hvilket omtrent svarer til 3.000 ord tekst. Med den kapacitet kunne modellen håndtere relativt korte samtaler eller moderat lange dokumenter, men den mistede overblikket over lange analyser.

Nyere high-end-modeller håndterer allerede hundredtusindvis eller endda millioner af tokensDette gør det muligt at uploade hele bøger, omfattende teknisk dokumentation og store vidensbaser, hvilket gør det muligt for LLM'en at fungere som en analytiker på dine egne dokumenter uden at forlade den samme kontekst.

Kontekstvinduet er ikke en permanent hukommelse: når det overskrides, skal dele af teksten opsummeres eller klippes. Men inden for denne margin er evnen til at opretholde sammenhæng og huske, hvad der blev sagt tidligere, en af ​​de faktorer, der i høj grad bestemmer kvaliteten af ​​interaktionen.

Modeller: lukkede, åbne og nichemodeller

LLM-økosystemet er fragmenteret i flere typer modeller med meget forskellige filosofier. På den ene side er der lukkede eller proprietære modeller, såsom GPT, Gemini eller Claude, udviklet af store virksomheder og tilbudt som cloud-tjenester.

Disse modeller er normalt de mest kraftfulde med hensyn til ræsonnementsevne, størrelse og kontekstvindue, og de kører på supercomputere med specialiserede GPU'erTil gengæld fungerer de som "sorte bokse": Deres præcise arkitektur er ukendt, detaljerne i deres træningsdata er ukendte, og der er ingen total kontrol over brugen af ​​de data, du sender.

I den anden ende er modellerne åbne vægteSom Lama 3Mistral eller Qwen er eksempler, hvor udviklere offentliggør modelvægtene, så alle kan downloade og køre dem på deres egen hardware. De inkluderer normalt ikke træningskoden eller de originale data, men de giver mulighed for en lokal og privat brug meget fleksibel.

Der er også rigtige projekter open source, såsom OLMo, som ikke kun deler vægte, men også kode og, hvor det er muligt, datadetaljer. Disse modeller er særligt værdifulde for videnskabelig forskning, gennemsigtighed og revision.

Endelig er der nichemodellerDe er trænet eller finjusteret til specifikke områder såsom medicin, jura, programmering eller finans. Selvom de kan være meget mindre end generalistgiganter, kan de inden for deres specifikke felt overgår meget større modeller i nøjagtighed og anvendelighed.

Sådan fortolker du "navnet" på en model

Hvis du gennemser arkiver som Hugging Face, vil du se modelnavne, der ligner nukleare nøgler, for eksempel: Llama-3-70b-Instruct-v1-GGUF-q4_k_mHver del af navnet giver nyttige oplysninger om modellen.

Den første del, Lama-3, angiver familien og basisarkitekturen, i dette tilfælde Llama 3-modellen fra Meta. Tallet 70b Det angiver størrelsen: 70.000 milliarder parametre, hvilket giver dig en idé om hardware påkrævet (meget avancerede grafikkort eller servere med meget hukommelse).

Mærkaten Instruere indikerer, at modellen er blevet finjusteret til følg instruktionerne og tal sammen naturligvis. Hvis du vil bruge en LLM som assistent, er det vigtigt, at navnet indeholder "Instruct" eller tilsvarende; ellers kan modellen opføre sig som en generisk tekstudfylder og ikke besvare dine spørgsmål godt.

Fragmentet GGUF Dette er filformatet, der er særligt almindeligt til at køre modeller på CPU'er eller Apple-enheder. Andre formater som EXL2, GPTQ eller AWQ er typisk designet til NVIDIA GPU'er og tilbyder forskellige ydeevneoptimeringer.

Endelig q4_k_m Den beskriver kvantiseringsniveauet (4 bit i dette tilfælde) og den specifikke metode (K-Quants), som påvirker diskstørrelsen, den nødvendige hukommelse og det lille præcisionstab, der accepteres for at køre modellen på mere beskeden hardware.

Kvantisering: Komprimering af gigantiske hjerner

Avancerede modeller i deres originale format kan optage ti eller hundredvis af gigabyte og kræver mængder videohukommelse (VRAM), der overstiger en hjemme-pc's kapacitet. Det er her, kvantisering.

I sin komplette form lagrer en LLM typisk sine vægte i 16-bit præcision (FP16) med mange decimaler, der muliggør meget fine beregninger. Kvantisering reducerer dette antal bits, for eksempel fra 16 til 4, og afrunder værdierne, så optage meget mindre plads og kræver mindre hukommelse for at køre.

Det overraskende er, at for mange chat-, skrive- eller opsummeringsopgaver påvirker det at gå fra 16 til 4 bits knap nok den opfattede kvalitet: Nylige undersøgelser viser, at en model i 4. kvartal kan opretholde omkring 98% af deres praktiske ræsonnementsevne til generel brug, med en vægtreduktion på op til 70%.

Mere aggressive kvantiseringer som Q2 eller IQ2 giver dig mulighed for at passe store modeller ind i meget begrænset udstyr, men prisen er høj: mærkbart tab af kohærens, løkker, gentagelser eller fejl i mere krævende logiske opgaver, især i matematik og kompleks programmering.

Hvis dit mål er at udføre delikate tekniske opgaver, er det tilrådeligt at bruge den højeste kvantisering, som din hardware understøtter (Q6, Q8 eller endda ukvantiseret), mens Q4 normalt er det optimale valg for de fleste brugere til lettere opgaver som skrivning eller brainstorming.

Hardware og VRAM: Hvor langt rækker din computer?

For at finde ud af, om du kan køre en model på din egen pc, skal du, i stedet for blot at kigge på system-RAM'en, se på VRAM på dit grafikkortEn hurtig tommelfingerregel er at gange milliarderne af parametre med omkring 0,7 GB VRAM i moderat kvantisering.

For eksempel en model som Ring 3 8B i 4. kvartal Den vil have omkring 5,6 GB VRAM, som mange nuværende gaming-GPU'er kan håndtere. En model af 70B parametre Det kræver muligvis omkring 49 GB VRAM, noget der er forbeholdt professionelle kort eller konfigurationer med flere GPU'er.

I det nuværende økosystem sameksisterer vi med to store hardwaretilgange til lokal AI. På den ene side NVIDIAhvor RTX GPU'er i 3000-, 4000- eller 5000-serien, der bruger CUDA, tilbyder meget høje tekstgenereringshastigheder, men med den begrænsning, at VRAM er dyrt og normalt ikke overstiger 24 GB i hjemmeforbrug.

På den anden side er der Apples vejMed sine M2-, M3- eller M4-chips og unified memory kan en Mac med 96 eller 192 GB delt hukommelse indlæse gigantiske (kvantiserede) modeller, der ville være umulige at huse på en enkelt hjemme-GPU, selvom genereringshastigheden normalt er lavere.

I begge scenarier er værktøjer som f.eks. LM Studio u Ollama De letter download, konfiguration og udførelse af lokale modeller, så du kan justere parametre som temperatur, CPU/GPU-forbrug eller hukommelse uden at skulle kæmpe med komplekse kommandolinjer, medmindre du leder efter en meget fin integration med andre programmer.

LLM versus andre typer generativ AI

Når du interagerer med en billedgenerator, behandles din prompttekst f.eks. først med en sprogmodel Den forstår din anmodning, klassificerer intentionen og udtrækker nøgleelementerne (kunstnerisk stil, objekter, kontekst osv.). Denne information oversættes derefter til repræsentationer, der bruger specifikke billedmodeller.

Det samme gælder for genereringen af lyd eller musikEn LLM kan forstå den tekstlige beskrivelse ("skab et stille stykke med klaver og strygere") og omdanne det til en struktur, som en specialiseret lydmodel derefter transformerer til lyd.

I kodegenerering er LLM'er direkte involveret: de er trænet med store kildekodelagreteknisk dokumentation og brugseksempler, så de kan skrive funktioner, forklare fejl, oversætte mellem programmeringssprog eller endda designe små spil som tic-tac-toe i C# ud fra en simpel beskrivelse i naturligt sprog.

Praktisk anvendelse af LLM'er i hverdagen

LLM'er kan finjusteres til specifikke opgaver, der maksimerer deres evne til at forstå og generere tekst, hvilket fører til et stadigt stigende udvalg af anvendelser i personlige og forretningsmæssige miljøer.

Blandt de mest almindelige anvendelser finder vi samtale chatbots såsom ChatGPT, Gemini eller Copilot, der fungerer som generelle assistenter, der er i stand til at besvare spørgsmål, forklare koncepter, hjælpe med lektier, skrive e-mails eller udarbejde rapporter.

En anden meget stærk kategori er den af generering af indholdProduktbeskrivelser til e-handel, reklametekster, blogartikler, videomanuskripter, nyhedsbreve eller opslag på sociale medier, alt sammen genereret ud fra relativt simple instruktioner.

I virksomheder bruges LLM'er til at besvare ofte stillede spørgsmålAutomatisering af dele af kundeservicen, klassificering og mærkning af store mængder feedback (anmeldelser, undersøgelser, kommentarer på sociale medier) og udtrækning af indsigt i brandopfattelse, tilbagevendende problemer eller muligheder for forbedring.

De udmærker sig også ved opgaver som oversættelse og lokaliseringDokumentklassificering, udtrækning af relevant information, generering af resuméer og støtte til beslutningstagning ved at styrke det menneskelige team med hurtige analyser af store tekstmængder.

Begrænsninger og risici ved LLM'er

Trods deres styrke har LLM'er betydelige begrænsninger, som man bør huske på for at bruge dem klogt og uden urealistiske forventninger.

Det mest kendte er fænomenet med hallucinationerModellen kan generere information, der lyder meget overbevisende, men er falsk eller unøjagtig. Dette sker, fordi LLM Forudsiger tekst, ikke faktaOg hvis der ikke er nok kontekst, eller spørgsmålet er tvetydigt, så udfyld hullerne med plausibelt, omend opfundet, indhold.

Vi er også nødt til at overveje biasModeller lærer af data genereret af mennesker, med alt hvad dette indebærer: bias, stereotyper, uligheder og et delvist verdenssyn. Uden kontrol- og tilpasningsmekanismer kan en LLM reproducere eller endda forstærke disse bias.

En anden vigtig begrænsning er dens hurtig afhængighedKvaliteten af ​​svaret afhænger i høj grad af, hvordan du formulerer anmodningen: Vage instruktioner genererer middelmådige resultater, mens veludformede prompts fører til langt mere nyttige, præcise og handlingsrettede svar.

Endelig har LLM'er ikke en reel forståelse af verden: de mangler direkte opfattelse, de har ikke integreret langtidshukommelse, medmindre eksterne systemer tilføjes, og medmindre udbyderen muliggør det, De har ikke adgang til information i realtidDeres "viden" er begrænset til, hvad der var til stede i deres træningsdata, og hvad der passer inden for deres nuværende kontekstvindue.

Forholdet til erhvervslivet og arbejdet

I virksomhedsmiljøet bliver LLM'er integreret i CRM, salgsværktøjer, tjenester og e-handelsplatforme at øge produktiviteten og forbedre kundeoplevelsen.

Disse modeller giver dig mulighed for at automatisere gentagne opgaver såsom at besvare lignende e-mails, generere indledende kontraktforslag, opsummere opkald eller møder og vejlede menneskelige agenter med forslag til respons i realtid, uden nødvendigvis at erstatte din dømmekraft, men med en betydelig reduktion af den mekaniske belastning.

Inden for marketing og salg er de vant til bedre segment kunderAnalysér store mængder tekstdata (anmeldelser, forespørgsler, sociale medier), personliggør beskeder, og opdag muligheder, der ellers ville gå ubemærket hen blandt tusindvis af interaktioner.

Denne påvirkning af arbejdsmiljøet minder om den, som industrirobotter har i produktionen: Noget monotont arbejde reduceres, jobprofiler transformeres, og nye funktioner med fokus på [følgende] opstår. designe, overvåge og integrere AI-systemer i eksisterende processer.

Fremtiden for LLM'er: Multimodalitet og større kapaciteter

Udviklingen af ​​LLM'er peger mod stadig flere modeller multimodali stand til at behandle ikke kun tekst, men også billeder, lyd og endda video på en integreret måde. På denne måde kunne et enkelt system forstå en samtale, analysere et scannet dokument, fortolke en graf og ræsonnere om det hele samtidigt.

Nogle modeller trænes allerede med kombinationer af tekst, lyd og video, hvilket åbner døren for avancerede applikationer inden for områder som f.eks. autonome køretøjerrobotteknologi eller forbedrede personlige assistenter, som "ser" og "hører" såvel som læser.

Efterhånden som træningsteknikkerne forfines, forventes det, at LLM'er vil forbedre sig. nøjagtighed, reduktion af bias og håndtering af opdaterede oplysningerinkorporering af eksterne verifikationsmekanismer og kontrolleret adgang til datakilder i realtid.

Vi vil også se en konsolidering af hybridmodeller: kombinationer af Højtydende lukkede modeller med specialiserede åbne modeller og lokale værktøjer, der gør det muligt at opretholde privatlivets fred og kontrol over de mest følsomme data.

Kort sagt, LLM'er går fra at være en prangende nyhed til at blive en grundlæggende produktivitetsinfrastrukturDette gælder både for enkeltpersoner og virksomheder. At forstå, hvad de kan gøre, hvordan de arbejder, og hvad deres begrænsninger er, er nøglen til at udnytte dem effektivt uden at delegere mere, end de realistisk kan håndtere.