Hvad er AI-modeldrift, og hvordan håndteres det

Modeldrift i AI er et af de stille problemer, der ikke dukker op, før du allerede mister penge, kunder eller nøjagtighed i dine systemer. I starten fungerer alt som et urværk: du træner din model, sætter den i produktion, og målingerne er gode. Men lidt efter lidt, uden større synlige katastrofer, begynder forudsigelserne at gå galt, fordi den virkelige verden har ændret sig, og modellen sidder fast i det statiske øjebliksbillede af dens træningsdata.

I organisationer, der er stærkt afhængige af avanceret analyse, er dette skift ikke usædvanligt; det er normen. Data ændrer sig, brugere ændrer sig, forretningen ændrer sig , og hvis modeller ikke tilpasser sig, bliver de forældede som en køreplan fra to årtier siden. Nøglen er ikke at forsøge at undgå forandring, men snarere at acceptere, at det vil ske, og at opbygge en robust strategi for kontinuerlig overvågning, detektion og tilpasning af modeller.

Hvad er modeldrift præcist i AI?

Modeldrift beskriver den proces, hvorved en maskinlæringsmodels ydeevne forringes over tid, fordi de forhold, den blev trænet under, ikke længere stemmer overens med den aktuelle virkelighed . Modellen blev trænet på historiske data, der repræsenterer et specifikt miljø; når dette miljø ændrer sig, passer modellen ikke længere.

I praksis betyder det, at forholdet mellem input og output , som modellen har lært, bliver ugyldigt eller i det mindste mindre pålideligt, end det oprindeligt var. Dette kan skyldes ændringer i inputdataenes egenskaber, en udvikling i betydningen af ​​målvariablen eller ændringer i opstrømsprocesser i datapipelinen.

Dette fænomen er også kendt som modelforringelse eller -ældning . I modsætning til traditionel software, som har tendens til at opføre sig på samme måde, så længe koden forbliver uændret, er AI-modeller statistiske enheder: Deres kvalitet afhænger af, hvor ens de aktuelle data er med de data, de så under træningen. Når denne lighed falder, bliver modellen adskilt fra virkeligheden.

Med hensyn til risiko kan modeldrift føre til systematisk unøjagtige forudsigelser , uopdagede bias, mangelfulde produktionsbeslutninger og økonomiske eller omdømmemæssige tab. Derfor betragtes det i forretningsmiljøer som en stille trussel mod enhver investering i AI og ML.

Overvågning og kontrol af modeldrift er ikke valgfrit: det er en del af den naturlige livscyklus for ethvert minimalt seriøst maskinlæringssystem, især inden for MLOps-frameworks, hvor det antages, at modeller skal opdateres med jævne mellemrum.

Datadrift, konceptdrift og andre typer af drift

Når vi taler om modeldrift, grupperer vi faktisk flere forskellige fænomener, der påvirker forskellige dele af systemet. Ikke al drift er ens , og den korrigeres heller ikke på samme måde; derfor er det vigtigt at forstå dens variationer.

Litteratur og professionel praksis skelner ofte i det mindste mellem datadrift , konceptdrift , opadgående forskydninger i data , funktionsdrift , prædiktionsdrift og labeldrift . Selvom de lyder ens, berører de hver især en forskellig brik i puslespillet.

Underliggende for dem alle er den samme idé: dataenes statistiske egenskaber eller forholdet mellem variabler ændrer sig over tid . Det, der engang var stabilt, ophører med at være det, og antagelserne om overvåget læring (data med samme fordeling, stationært miljø osv.) bryder sammen i praksis.

Denne opdeling af de oprindelige antagelser er det, der får en model, der fungerede perfekt under validering, til at begynde at fejle i produktion, tilsyneladende uden ændringer i koden. Problemet er ikke selve modellen, men snarere den verden, der har ændret sig omkring den.

Datadrift (datadrift eller ændring af kovariater)

Datadrift opstår, når fordelingen af ​​modellens inputvariabler ændrer sig , selvom forholdet mellem disse variabler og den teoretiske betegnelse forbliver den samme. Med andre ord er det kovariaterne, der bryder sammen, ikke så meget det koncept, der forudsiges.

Dette kan manifestere sig, fordi målgruppen ændrer sig, fordi de kanaler, hvorigennem du indsamler information, ændrer sig, på grund af ændringer i dataindsamlingsprocesser eller simpelthen på grund af tidens gang. Tidsserier, brugerdata og forretningssignaler er særligt følsomme over for denne type afvigelse.

Meget klare eksempler på datadrift inkluderer:

• finanserEn handels- eller kreditvurderingsmodel, der er trænet på en specifik økonomisk cyklus, begynder at modtage data i en helt anden makroøkonomisk kontekst (krise, højkonjunktur, stigende renter osv.). Indkomstfordelinger, aldersgrupper og transaktionsvolumener ligner ikke længere historiske data.
• E-handelEt anbefalingssystem, der er baseret på bestemte browser- og købsadfærd, ser, hvordan præferencer, enheder, kanaler (mere mobil, mere stemme) eller blandingen af ​​tilgængelige produkter ændrer sig.
• CybersikkerhedNormale netværkstrafikmønstre ændrer sig på grund af nye arkitekturer, telearbejde og cloudtjenester, hvilket gør signaler, der engang var sjældne, nu almindelige.
• NLP og sprogmodellerDet levende sprog introducerer nye ord, slang og vendingerUdtryk ændrer sig i popularitet, og nye kontekster opstår (for eksempel fremkomsten af ​​ChatGPT eller virale emner).

Denne afvigelse kan også forekomme i selve træningsdatasættet, hvis du blander data fra meget forskellige perioder, kilder eller indsamlingsprocesser . I disse tilfælde træner du på en hybridfordeling, der ikke præcis ligner det, du vil se i produktion.

Konceptdrift

Konceptuel drift refererer til ændringer i forholdet mellem inputvariablerne og målvariablen . Selvom fordelingen af ​​X kan synes ens, er den måde, X relaterer sig til Y, ikke længere den samme. Med andre ord ændrer det, du forsøger at modellere, sig.

Et klassisk eksempel ville være et system til svindelopdagelse . Kriminelle ændrer deres taktikker: de anvender nye mønstre for beløb, tidspunkter, steder eller enheder. Selv hvis de grundlæggende statistikker for variablerne synes ens, har betydningen af ​​visse mønstre ændret sig . Hvad der engang var et tegn på legitim adfærd, kan nu være mistænkeligt, eller omvendt.

I anbefalings- og personaliseringsmiljøer opstår konceptdrift, når brugerpræferencer ændrer sig . En kunde, der plejede at se bestemte typer film eller købe bestemte produkter, bliver interesseret i andre genrer eller kategorier. Den samme kombination af profilkarakteristika forudsiger ikke længere de samme handlinger som før.

Konceptuel drift kan være:

• gradvislangsomme ændringer i smag, vaner eller forretningsforhold.
• Pludselig eller pludseligbegivenheder som en pandemi, nye regler eller en radikal markedsændring, der ændrer adfærd natten over.
• Sæsonbestemt eller tilbagevendende: mønstre, der opstår og forsvinder cyklisk, såsom juleudsalg eller sommeradfærd.
• TrinvisForholdet bevæger sig gradvist mod en ny stabil tilstand, der er forskellig fra den oprindelige.

Når den konceptuelle afvigelse er stærk og ikke adresseres, begynder modellen at lave systematiske fejl : antallet af falske positiver og falske negative resultater stiger, evnen til at generalisere til nye data falder, og i praksis ophører modellen med at være nyttig, uden at nogen har ændret en eneste linje kode.

Etiketdrift og forudsigelsesdrift

Et andet relateret fænomen er label-drift , som opstår, når definitionen eller fordelingen af ​​målvariablen ændrer sig . Det er ikke kun, at inputdataene varierer, men at det, vi kalder "positivt" eller "negativt" i dag, ikke er præcis det samme, som det var for et par år siden.

Et meget illustrativt eksempel er medicinske diagnostiske modeller . Hvis de kliniske kriterier for at overveje en patients diabetes ændrer sig (for eksempel ved at sænke eller stramme glukosetærskler), ville betegnelser, der tidligere var "ikke-diabetisk", nu være "diabetisk". Den model, der er trænet med de gamle kriterier, bliver ikke i overensstemmelse med den nuværende virkelighed.

Forudsigelsesdrift opstår, når fordelingen af ​​modellens output i produktionen ændrer sig fra det forventede: den forudsiger pludselig én klasse meget mere end en anden, eller sandsynlighedsintervallerne ændrer sig. Dette kan være et tegn på underliggende data eller konceptuel drift, eller at modellen er begyndt at operere uden for sin komfortzone.

Opadgående forskydninger og karakteristisk drift

Opstrøms ændringer i data opstår, når noget i pipelinen forud for modellen ændrer sig på en tilsyneladende harmløs måde : en kolonne ændres fra euro til dollars, måleenheder ændres, betydningen af ​​et felt omdefineres, skemaet ændres, eller den strukturerede markup brydes.

Disse typer ændringer er ikke altid synlige for det blotte øje, men de kan få modellen til at misfortolke dataene. For eksempel kan en værdi som "100", der tidligere betød 100 euro, nu betyde 100 dollars, og modellen står tilbage med et numerisk signal uden at forstå ændringen i kontekst.

Funktionsdrift er en mere lokaliseret form for datadrift: det ændrer fordelingen af ​​en eller flere nøglefunktioner, enten fordi de mister relevans over tid, eller fordi de processer, der genererer dem, har ændret sig. Individuel overvågning af disse funktioner hjælper med at opdage, hvilke dele af inputrummet der ændrer sig mest.

Eksempler på modeldrift i den virkelige verden

Den bedste måde at forstå modellens udvikling på er at se den anvendt på specifikke forretningssager . I stort set alle sektorer, hvor AI bruges i produktion, er der klare eksempler på modeller, der er blevet forældede på grund af ændringer i dataene.

I den finansielle sektor er kreditvurderingsmodeller, algoritmisk handel og anti-hvidvaskningsteknikker særligt tilbøjelige til at ændre sig. Markederne reagerer på nyheder, pengepolitik, geopolitiske begivenheder og endda ændringer i stemningen på sociale medier. En model, der har fungeret under specifikke volatilitets- og korrelationsforhold, kan blive ustabil, når markedsregimet ændrer sig.

Inden for sundhedsvæsenet skal modeller, der forudsiger sygdomsrisici, hospitalsophold eller behandlingsrespons, håndtere demografiske ændringer, nye kliniske retningslinjer, fremkomsten af ​​nye sygdomme og variationer i protokoller. Fremkomsten af ​​en ny sygdom som COVID-19 er det ekstreme eksempel på et sammenbrud af tidligere antagelser.

Inden for e-handel står anbefalingssystemer og købstilbøjelighedsmodeller over for konstante ændringer i produktkataloget, forbrugertendenser, kanalen (web, app, tale), den dominerende enhed og brugernes købekraft. Det, der fungerede i en vækstkontekst, er måske ikke effektivt i en recession eller i lyset af et massivt skift i forbrugervaner.

I klimaovervågning skal vejr- og klimaforudsigelsesmodeller tilpasse sig store miljøændringer , såsom urbanisering, skovrydning og global opvarmning. Disse variabler ændrer de historiske mønstre, der bruges til at træne mange modeller.

Inden for cybersikkerhed kæmper systemer til indtrængen og anomalidetektering mod en intelligent modstander. Efterhånden som angribere ændrer deres taktikker og værktøjer, ændres selve begrebet "mistænkelig trafik" eller "ondsindet hændelse", hvilket tvinger modellerne til at udvikle sig i samme tempo.

Hvorfor modellens afvigelse er så afgørende for virksomheden

Ud over de tekniske detaljer er grunden til, at modeldrift betyder så meget, enkel: beslutninger baseret på forældede modeller er dårlige beslutninger . Og i et miljø, hvor massive mængder data genereres hver dag, er det at træffe beslutninger med gamle data eller modeller at lege med ilden.

Når en model afviger uopdaget, begynder der at opstå forretningsfejl , som i første omgang kan forveksles med støj: mindre effektive kampagner, små stigninger i svindel, små fald i konverteringer, noget mindre præcise diagnoser ... Over tid akkumuleres disse ubalancer og bliver til økonomiske tab eller en forringelse af kundeoplevelsen.

Derudover påvirker dette skift tilliden til AI i selve organisationen. Hvis interne brugere eller slutkunder opfatter, at intelligente systemer "fejler oftere end en karnevalsskydebane", vil det være meget vanskeligt at overbevise dem om at investere i maskinlæringsbaserede løsninger igen.

Der er også en regulatorisk og omdømmemæssig risikokomponent . I regulerede sektorer, såsom bankvirksomhed eller sundhedsvæsen, kan en model, der er ude af kontrol, føre til diskrimination, fejlbehandling eller beslutninger, der ikke ville kunne modstå en revision. Hvis man ikke formår at håndtere denne forskydning, kan det resultere i akavede forklaringer til regulatorer, klienter eller medierne.

Endelig betyder det at ignorere drift at smide den oprindelige investering i AI væk . Træning og implementering af en model koster penge, tid og organisatorisk indsats; hvis den derefter lades uovervåget, indtil den bliver ubrugelig, forsvinder al den investering meget hurtigt.

Overvågning af modeldrift

For at forhindre modeller i at blive "forældede" i produktion, skal der etableres en formel proces til overvågning af modeldrift . Det handler ikke om lejlighedsvis at kontrollere metrikker, men snarere om at oprette et kontinuerligt system, der sammenligner den nuværende adfærd med en baseline.

Denne overvågning omfatter to hovedkomponenter: for det første overvågning af modellens ydeevne (nøjagtighed, recall, F1, AUC, fejl osv.), og for det andet overvågning af selve dataene (inputfordelinger, mærkning, nøglefunktioner osv.). Målet er at opdage betydelige ændringer, før drift forårsager alvorlig skade.

Et centralt element i denne tilgang er at have en baseline : præstationsmålinger og datafordelinger, der afspejler modellens "sunde" tilstand (typisk trænings- og valideringsresultater eller de første succesfulde perioder i produktion). Derfra vækker enhver væsentlig afvigelse mistanke.

I praksis er Model Drift Monitoring afhængig af MLOps-værktøjer (Azure ML, SageMaker, Vertex AI, Evidently AI og andre), der gør det muligt at implementere denne overvågning, definere tærskler, udstede advarsler og i mange tilfælde udløse omtræningspipelines eller menneskelig gennemgang, når bestemte grænser overskrides.

Statistiske metoder til at detektere drift

At detektere drift er ikke blot at "bemærke, at noget er forkert", men at bakke denne mistanke op med statistiske beviser . Der findes adskillige udbredte teknikker til at sammenligne fordelinger og kvantificere ændringer.

En af de mest anvendte tests er Kolmogorov-Smirnov (KS) testen , en ikke-parametrisk test, der sammenligner de kumulative fordelingsfunktioner for to numeriske stikprøver. KS-statistikken måler den maksimale afstand mellem de to kurver; hvis denne afstand og dens tilhørende p-værdi overstiger visse tærskler, konkluderer vi, at fordelingerne er forskellige.

En anden udbredt indikator, især inden for bankvæsenet, er Population Stability Index (PSI) . PSI kvantificerer, hvor meget fordelingen af ​​en variabel har ændret sig mellem en referenceperiode (uddannelse eller "god" produktion) og den aktuelle periode. Lave værdier indikerer stabilitet; høje værdier antyder, at den population, som modellen anvendes på, ikke længere ligner originalen.

Z-scores bruges også til at sammenligne middelværdier og standardafvigelser af karakteristika, chi-kvadrat-tests for kategoriske variabler og mål for divergens mellem fordelinger såsom Jensen-Shannon eller Wasserstein . Alle disse har til formål at gøre det samme: at detektere, om den variabilitet, vi observerer, er normal støj eller en strukturel ændring.

I scenarier med mange modeller eller datastrømme er det almindeligt at benytte specialiserede driftdetektorer og sammenlignende vurderinger, såsom dem, der er indsamlet i nyere forskning om datastrømme og kontinuerlig læring, som hjælper med at forstå, hvilke teknikker der fungerer bedst afhængigt af typen og placeringen af ​​driften.

Præstationsmålinger og konfidensgrænser

Den anden side af medaljen er overvågning af, hvor godt modellen udfører sin primære opgave. Målinger som nøjagtighed, F1, AUC, MAE eller MSE beregnes periodisk ud fra nyligt mærkede data (når tilgængelige) eller ved hjælp af forsinket feedback-teknikker.

Udfordringen ligger i at skelne mellem normale udsving (sæsonbestemthed, støj i dataindsamling, ændringer i stikprøver i værktøjer som Google Search Console osv.) og faktisk forringelse . For at gøre dette defineres kontrolbånd eller konfidensintervaller omkring historiske værdier: så længe præstationen forbliver inden for disse bånd, antager vi, at alt er under kontrol; når den konsekvent falder uden for dem, er det tid til at undersøge det.

Hvis modellen startede med en F1 på 0,90, og den over tid svinger mellem 0,88 og 0,92, er der ikke noget problem. Hvis den en dag falder til 0,78 og forbliver der i flere målinger, er der sandsynligvis tale om en form for datadrift eller konceptuel fejl. Uden klare tærskler bliver ethvert overvågningssystem en kilde til falske alarmer.

Strategier til at afbøde og håndtere drift

At detektere drift er kun halvdelen af ​​arbejdet; den anden halvdel involverer at tilpasse modellen for at genoprette dens prædiktive kapacitet. Dette betyder ikke altid at skrotte modellen og starte forfra; der er flere strategier, nogle mere aggressive end andre, afhængigt af størrelsen og typen af ​​drift.

En grundlæggende taktik er periodisk genoptræning : Med jævne mellemrum (uger, måneder, afhængigt af tilfældet) indsamles nye data, kombineret med relevante historiske data, og modellen genoptrænes, så dens parametre opdateres for at afspejle den nye virkelighed. Det er som at tage sin bil til mekanikeren for et regelmæssigt eftersyn.

I meget dynamiske miljøer, hvor data ændrer sig næsten i realtid, anvendes online læring ofte . I denne tilgang justeres modellen trinvist, efterhånden som nye eksempler introduceres. I stedet for store træningssessioner med få måneders mellemrum udføres der små, kontinuerlige opdateringer, hvilket holder modellen agil.

En anden vigtig løftestang er funktionsudvikling . Nogle variabler er meget prædiktive, men ustabile; andre er mindre kraftfulde, men mere robuste over tid. At finde den balance, at redesigne funktioner for at gøre dem mindre følsomme over for overfladiske ændringer eller at introducere nye variabler, der bedre indfanger nye mønstre, er en central del af at bekæmpe drift.

I nogle tilfælde hjælper det at kombinere flere modeller ved hjælp af ensemblemetoder med at dæmpe afdrift. Forskellige modeller kan reagere forskelligt på ændringer; ved at aggregere dem bliver det samlede system mindre skrøbeligt i lyset af pludselige ændringer i bestemte områder af inputrummet.

Og når den konceptuelle afvigelse er meget stærk, eller forretningen har ændret sig radikalt, er den eneste realistiske løsning at foreslå en fuldstændig udskiftning af modellen : redesign arkitekturen, gentænk variablerne, træn på et opdateret datasæt og validér, som om det var et nyt projekt.

Afledt af modellen i NLP og sprogmodeller

I projekter og sprogmodeller inden for naturlig sprogbehandling (NLP) er drift særligt tydelig, fordi menneskeligt sprog er en levende organisme, der konstant muterer. Nye termer, memer, udtryk og kontekster dukker op dagligt.

En model for sentimentanalyse, der blev trænet for et par år siden, kan muligvis ikke indfange nuancerne i nuværende slang, moderne ironier eller udtryk, der har ændret konnotation. Ordene er de samme, men deres brug og praktiske betydning har ændret sig , hvilket får modellen til at fejlmærke anmeldelser, undersøgelser eller kommentarer på sociale medier.

Det samme gælder for tekstklassificeringsmodeller, chatbots eller informationsudtrækningssystemer. Hvis de blev trænet i gamle korpus eller i domæner, der har udviklet sig markant (teknologi, populærkultur, forbrugerprodukter), vil deres forudsigelser sandsynligvis begynde at fejle, så snart de støder på et nyere sprog.

Teams, der udvikler NLP-modeller, inkorporerer typisk mekanismer fra designfasen til at opdatere ordforråd og udføre periodisk genoptræning , netop for at imødegå denne forskydning i sproglige data. Dette omfatter indsamling af nye tekster, gennemgang af ord- og entitetsfordelinger og justering af både basismodellerne og finjusteringslagene.

I denne sammenhæng er sprogdrift ikke et symptom på et fejlagtigt design, men en naturlig konsekvens af at arbejde med levende sprog. At ignorere det er at antage, at folk vil fortsætte med at tale på samme måde for evigt , noget som virkeligheden modbeviser med få måneders mellemrum.

Afledt af modellen, hallucinationer og RAG-arkitekturer

Det er vigtigt at skelne mellem modeldrift og andre mediedrevne AI-problemer, såsom hallucinationer i store sprogmodeller (LLM'er) . Selvom begge i sidste ende fører til forkerte resultater, er deres oprindelse og natur forskellig.

Modeldrift er et statistisk aldringsproblem : miljøet ændrer sig, dataene udvikler sig, og modellen, der er frosset fast i tiden, bliver forældet. Det påvirker især diskriminerende modeller (klassificering, regression, prædiktiv scoring), der træffer beslutninger baseret på lærte mønstre.

Hallucinationer er derimod et generationsproblem . LLM'er er trænet til at forudsige det næstmest sandsynlige token, ikke til at verificere sandheden af ​​det, de siger. Når de ikke har nok information, eller prompten er tvetydig, kan de opfinde data, der lyder plausible, men er falske, selvom der ikke har været nogen ændring i fordelingen af ​​inputdata.

Drift bør heller ikke forveksles med arkitekturer som Retrieval Augmented Generation (RAG) . RAG er en teknik, der gør det muligt for en generativ model at benytte eksterne og opdaterede videnskilder (databaser, interne dokumenter osv.), før der produceres et svar, hvilket forbedrer aktualiteten og reducerer spekulative fejl.

Selvom RAG er meget nyttigt for en samtaleassistent til at "vide", hvad der er sket efter dens træningsfrist, løser det ikke problemet med klassiske prædiktive modeller i sig selv . De er forskellige lag af AI-arkitekturen, der hver især adresserer et specifikt problem.

Håndtering af modeldrift i komplette AI-systemer involverer en kombination af flere strategier: robust MLOps-overvågning til prædiktive modeller, gendannelsesarkitekturer for at give opdateret kontekst til generative modeller og frem for alt en kultur med løbende forbedringer, der antager, at intet i dette økosystem er statisk.

I sidste ende er modeldrift den stresstest, der adskiller AI-projekter, der er udtænkt som engangseksperimenter, fra AI-systemer, der er designet som levende infrastrukturer. De, der fra starten inkorporerer overvågning, statistisk detektion, automatiseret omskoling og tilpasningsevne, forvandler denne "tavse fjende" til en konstant mulighed for at forbedre og tilpasse modeller til et stadigt skiftende miljø.

Relateret artikel:

Hvad er den virtuelle assistent fra Ask Intel, og hvordan ændrer den virksomhedens support?

Isaac

Passioneret forfatter om bytes-verdenen og teknologien generelt. Jeg elsker at dele min viden gennem skrivning, og det er det, jeg vil gøre i denne blog, vise dig alle de mest interessante ting om gadgets, software, hardware, teknologiske trends og mere. Mit mål er at hjælpe dig med at navigere i den digitale verden på en enkel og underholdende måde.