- Išsami klasifikavimo, regresijos, klasterizavimo ir natūralios kalbos apdorojimo metrikų analizė.
- Pažangios patvirtinimo strategijos ir metodai, skirti sumažinti perteklinį pritaikymą ir algoritminius šališkumus.
- Techninių rodiklių integravimas su verslo KPI ir nuolatinio stebėjimo įrankiais gamyboje.
Dirbtinio intelekto modelio paleidimas į pasaulį yra įdomus, bet būkime atviri: algoritmo sukūrimas yra tik ledkalnio viršūnė. Tikrasis iššūkis yra žinoti, ar tas modelis iš tikrųjų veikia, ar jis mums tik parduoda prekes su rezultatais, kurie pasitvirtina tik laboratorijoje. Be griežtos vertinimo sistemos rizikuojame diegti sprendimus, kurie, užuot padėję, sukelia pavojingas šališkas situacijas arba pateikia visiškai klaidingus atsakymus realiomis sąlygomis.
Modelių patvirtinimo įvaldymas nėra tik duomenų puristų užgaida; tai absoliuti būtinybė kiekvienam kūrėjui, norinčiam sukurti apčiuopiamą vertę. Šiame straipsnyje aptarsime visus rodiklius ir strategijas, kuriuos reikia įvaldyti, norint paversti savo prototipus patikimais sprendimais – nuo konkrečių rodiklių pasirinkimo kiekvienai problemai iki Python įrankių, kurie palengvins jūsų gyvenimą, naudojimo.
Klasifikavimo modelių metrikos: daugiau nei paprastas tikslumas
Kai tikslas yra priskirti duomenims etiketę, pirmiausia paprastai atkreipiame dėmesį į tikslumą . Nors tai labai intuityvu, nes nurodo teisingų atsakymų procentą, tai gali būti mirtini spąstai, jei klasės yra nesubalansuotos. Įsivaizduokite modelį, kuris aptinka sukčiavimą, kai 99 % operacijų yra teisėtos; jei modelis visada rodo „nėra sukčiavimo“, jo tikslumas bus 99 %, bet verslui jis bus visiškai nenaudingas .
Siekiant išvengti klaidingo supratimo, svarbus jautrumas (atkūrimas) ir specifiškumas . Atkūrimas yra gyvybiškai svarbus, kai negalime praleisti teigiamo atvejo, pavyzdžiui, medicininės diagnozės atveju, kai klaidingai neigiamas rezultatas yra labai svarbus. Kita vertus, specifiškumas yra labai svarbus, kai problema yra klaidingai teigiami rezultatai, pavyzdžiui, siekiant užkirsti kelią svarbiam el. laiškui patekti į šlamšto aplanką. Norėdami subalansuoti abu, naudojame F1 balą , kuris yra harmoninis vidurkis tarp tikslumo ir jautrumo ir yra pagrindinis rodiklis, kai yra duomenų disbalansas.
Išsamesniam vaizdui ROC kreivė ir AUC-ROC yra galingi įrankiai. Nors kreivė rodo kompromisą tarp tikrųjų teigiamų ir klaidingai teigiamų rezultatų dažnių esant skirtingoms riboms, AUC pateikia vieną skaičių nuo 0 iki 1. Reikšmė, artima 1, rodo, kad modelis puikiai skiria klases, o 0.5 reiškia, kad modelis veikia prastai.
Regresijos vertinimas: klaidos dydžio matavimas
Regresiniuose modeliuose, kuriais siekiama numatyti tolydžiąją reikšmę, nebekalbame apie sėkmes ar nesėkmes, o apie paklaidos dydį . Vidutinę absoliučiąją paklaidą (MAE) paaiškinti lengviausia, nes ji parodo vidutinį skirtumą tais pačiais vienetais kaip ir mūsų kintamasis, todėl ji yra labai atspari išskirtims.
Jei norime griežčiau bausti už dideles paklaidas, naudojame vidutinę kvadratinę paklaidą (VKP) , kuri pakelia skirtumus kvadratu. Kadangi VKP keičia rezultato skalę, paprastai traukiame kvadratinę šaknį, kad gautume VKP , kuri grįžta prie pradinių vienetų, bet išlaiko jautrumą didelėms paklaidoms. Galiausiai, R kvadratas nurodo, kokią duomenų dispersijos procentinę dalį paaiškina modelis, ir padeda mums sužinoti, ar mūsų įvesties kintamieji iš tikrųjų atspindi reiškinio esmę.
Specializuoti metodai: klasterizacija ir NLP
Kai patenkame į neprižiūrimą teritoriją, pavyzdžiui, klasterizaciją, nebeturime realių etikečių, kurias galėtume palyginti. Čia naudojame vidinius rodiklius, tokius kaip silueto koeficientas , kuris matuoja, kiek grupė kompaktiška ir kiek ji atskirta nuo kitų. Taip pat turime Davies-Bouldin indeksą , kur mažesnė vertė rodo geresnį klasterių atskyrimą.
Natūralios kalbos apdorojimo (NLP) pasaulyje viskas tampa sudėtingiau. Mašininiam vertimui naudojame BLEU balą , kuris lygina mašiną su žmogumi naudodamas n-gramas. Automatiniam apibendrinimui geresnis yra ROUGE , daugiausia dėmesio skiriant įsiminimui. O kalbant apie kalbos modelius, pagrindinis rodiklis yra „Perplexity“ : kuo jis mažesnis, tuo geriau modelis prognozuoja žodžių seką.
Strategijos prieš perteklinį pritaikymą ir patikimas patvirtinimas
Didžiausia bet kurio dirbtinio intelekto inžinieriaus baimė yra per didelis pritaikymas , kuris įvyksta, kai modelis įsimena duomenis, o ne mokosi modelių. Siekiant to išvengti, auksinė taisyklė yra padalinti duomenis į tris blokus: mokymą, patvirtinimą ir testavimą . Testų rinkinys turėtų būti šventas ir naudojamas tik vieną kartą proceso pabaigoje, kad būtų gautas nešališkas įvertinimas.
Siekdami sustiprinti rezultatus, pritaikėme K kartų kryžminį patvirtinimą , padaliję duomenis į „k“ dalis ir kiekvienoje iteracijoje kaitaliodami patvirtinimo rinkinį. Tai sumažina dispersiją ir užtikrina, kad našumas nepriklausytų nuo sėkmingo duomenų padalijimo. Kita įdomi technika yra „bootstrapping“ , kuri sukuria kelis imties fragmentus su pakeitimu, kad gautų stabilesnius pasikliautinuosius intervalus.
Etika, šališkumas ir algoritminė atskaitomybė
Modelis gali turėti puikius techninius rodiklius ir tuo pačiu metu būti etinė katastrofa. Imties šališkumas atsiranda, kai duomenys neatspindi tikrosios populiacijos, todėl dirbtinis intelektas neveikia su tam tikromis demografinėmis grupėmis. Taip pat yra asociacijų šališkumas, kai modelis įtvirtina socialinius stereotipus, esančius istoriniuose duomenyse.
Norėdami su tuo kovoti, turime įdiegti lygybės metriką , atskirai vertindami kiekvieno pogrupio našumą. Čia labai svarbus paaiškinamo dirbtinio intelekto (XAI) naudojimas, nes jis leidžia mums atverti juodąją dėžę ir suprasti, kodėl modelis priima tam tikrus sprendimus, užtikrinant, kad jis nebūtų pagrįstas diskriminaciniais kintamaisiais.
Nuo technologijų iki verslo: tikroji dirbtinio intelekto vertė
Duomenų komandą ir vadovybę sieja klasikinis atotrūkis. Inžinierius gali džiaugtis 0.9 F1 balu, tačiau vadovą domina, kiek pinigų įmonė sutaupo arba kaip ji gerina klientų patirtį. Štai kodėl labai svarbu derinti techninius rodiklius su verslo KPI, tokiais kaip sumažėjusios veiklos sąnaudos ar padidėjęs grynasis rekomendacijų rodiklis (NPS).
Norint tai perteikti, dirbtinio intelekto ataskaitų suvestinės yra pagrindinė priemonė. Jos neturėtų būti sudėtingų diagramų krūva, o veikiau tiltas, kuris techninius rezultatus paverčia strateginiu poveikiu. Geroje ataskaitų suvestinėje turėtų būti duomenų dreifo įspėjimai , pranešantys, kai našumas sumažėja, nes pasikeitė realusis pasaulis ir modelį reikia permokyti.
Praktinis įgyvendinimas naudojant Python ir Scikit-Learn
Python yra kalbų karalius dėl tokių bibliotekų kaip Scikit-mokykis. Su tokiomis funkcijomis kaip confusion_matrix, classification_report y roc_auc_scoreVos keliomis kodo eilutėmis galime gauti išsamią diagnozę. Didesniems projektams reikalingos tokios priemonės kaip MLflow arba svoriai ir poslinkiai Jie leidžia stebėti eksperimentus ir profesionaliai palyginti modelių versijas.
Konkrečiu kompiuterinio matymo su tokiais modeliais kaip YOLO atveju naudojame tokius rodiklius kaip mAP (vidutinis vidutinis tikslumas) ir IoU (sankirta virš sąjungos) . IoU nurodo, kiek prognozuojama dėžutė persidengia su faktine dėže, o mAP apibendrina bendrą tikslumą visose klasėse, leisdamas mums tiksliai suderinti modelį , kad optimizuotume mažų objektų aptikimą arba padidintume prognozių patikimumą.
Visiškas vertinimo valdymas reiškia visko – nuo painiavos matricų ir logaritminių nuostolių analizės iki Gini koeficientų ir Kolmogorovo-Smirnovo testų – įvaldymą. Integruodami techninį patvirtinimą su etine priežiūra ir finansiniais tikslais, paprastą kodo eksperimentą paverčiame strateginiu verslo turtu , kuris nuolat tobulėja stebint gamybą ir atliekant iteracinį tobulinimą.
Aistringas rašytojas apie baitų pasaulį ir technologijas apskritai. Man patinka dalytis savo žiniomis rašydamas, būtent tai ir darysiu šiame tinklaraštyje, parodysiu jums įdomiausius dalykus apie programėles, programinę įrangą, techninę įrangą, technologijų tendencijas ir kt. Mano tikslas – padėti jums paprastai ir smagiai naršyti skaitmeniniame pasaulyje.