Mis on läbipaistmatus ehk must kast tehisintellektis ja miks see oluline on?

La tehisintellekti niinimetatud „must kast“ Sellest on saanud üks vastuolulisemaid teemasid iga kord, kui me sellest räägime. algoritmid, mis langetavad otsuseid meie jaoks. Me toetume süsteemidele, mis soovitavad ravimeid, toetuslaene või filtreerivad CV-sid... aga sageli Meil pole aimugi, miks nad selliste otsusteni jõuavadisegi mitte siis, kui need otseselt meie õigusi mõjutavad.

See läbipaistvuse puudumine pole ainult tehniline probleem: Sellel on eetilised, juriidilised, sotsiaalsed ja ärilised tagajärjed.Seepärast räägitakse nii palju algoritmilisest läbipaistmatusest, seletatavusest (XAI) ja uutest regulatsioonidest nagu Euroopa tehisintellekti seadus, mille eesmärk on just selles valdkonnas korda luua. Vaatame seda rahulikult, aga üksikasjalikult. Mis täpselt on läbipaistmatus ehk tehisintellekti "must kast"?Miks see ilmub, milliseid riske see endaga kaasa toob ja kuidas püütakse seda kasti avada ilma tehnoloogia eeliseid kaotamata.

Mida tähendavad tehisintellektis „must kast” ja läbipaistmatus?

Tehisintellekti kontekstis a „Must kast” on süsteem, mille sisemisi protsesse ei ole võimalik selgelt mõista.Me teame, millised andmed sisse lähevad ja milline tulemus välja tuleb, aga vahepealne „tee” on inimestele, isegi paljudele arendajatele, arusaamatu või kättesaamatu.

See nähtus on peamiselt seotud keerulised masinõppe mudelid, näiteks sügavad närvivõrgudmis töötavad tuhandete või miljonite parameetritega, mis on jaotatud arvukate kihtide vahel. Erinevalt klassikalisest läbipaistvatel reeglitel põhinevast algoritmist õpib mudel siin kogemustest, kohandades sisemisi kaalusid nii, et Keegi ei saa käsitsi jälgida, milline neuronite täpne kombinatsioon viis konkreetse reaktsioonini..

Läbipaistmatus võib tekkida kahel erineval, kuid teineteist täiendaval viisil: ühelt poolt seetõttu, et Ettevõte otsustab koodi ega mudeli üksikasju mitte avaldada. (oma intellektuaalomandi kaitsmiseks või puhtalt äristrateegia eesmärgil); teisalt seetõttu, et Loomupärane matemaatiline ja statistiline keerukus muudab intuitiivse inimliku tõlgendamise praktiliselt võimatuks.isegi kui kood on avatud lähtekoodiga.

Teisel juhul räägime tavaliselt „orgaanilised mustad kastid„Isegi süsteemi loojad ei suuda täpselt kirjeldada, milliseid sisemisi mustreid tehisintellekt on õppinud või kuidas ta neid igas otsuses kombineerib. Süvaõppe mudelite puhul on see norm, mitte erand.“

Nende süsteemidega suheldes saame selgelt jälgida ainult kõnesid Nähtavad kihid: sisendkiht ja väljundkihtMe näeme sisestatud andmeid (pilte, teksti, numbrilisi muutujaid) ja kuvatavaid ennustusi või klassifikatsioone (kinnitatud/tagasilükatud, diagnoos, soovitus jne). Aga mis juhtub mitmes... peidetud vahekihid See jääb suures osas meie arusaamisvõime piiridest välja.

Kuidas musta kasti mudelid toimivad: närvivõrgud ja süvaõpe

Selle läbipaistmatuse põhjuste mõistmiseks on kasulik üle vaadata, isegi kui vaid üldiselt, Kuidas on süvaõppe mudelid üles ehitatud?Ühe lihtsa valemi asemel koosnevad need süsteemid paljude kihtidega (mõnikord sadadega) närvivõrkudest ja igas kihis suurest hulgast neuronitest.

Iga neuron on põhimõtteliselt väike koodiplokk, mis võtab vastu sisendeid, rakendab matemaatilist teisendust ja genereerib väljundiÕppeprotsess hõlmab miljonite näidete abil kõigi nende neuronite kaalude ja läviväärtuste kohandamist, et süsteem minimeeriks ennustusvigu. Probleem on selles, et pärast treenimist on tulemuseks hiiglaslik parameetrite võrgustik, mis See ei vasta selgetele ja eraldiseisvatele inimlikele mõistetele.

Seda tüüpi võrk saab neelata suured toorandmete mahud (pildid, heli, vaba tekst, andurite andmed) ja tuvastada tohutu keerukusega mustreid: mittelineaarsed seosed, väga peente tunnuste kombinatsioonid, korrelatsioonid, mis trotsivad meie intuitsiooni. Tänu sellele suudavad nad tõlkida keeli, genereerida pilte, kirjutada sidusaid tekste või analüüsida täpselt röntgenpilte võrreldav spetsialistide omaga.

Kuid sellel võimul on oma hind: sisemised representatsioonid, mida nad loovad (näiteks kuulus vektori manustamised) on kõrgmõõtmelised numbrilised struktuurid, mis Need ei ole otseselt kooskõlas lihtsate inimlike kategooriatega.Me võime aimata, et teatud vektorid grupeerivad sarnaseid tähendusi või et teatud neuronid reageerivad kindlatele mustritele, kuid kogu kaart on praktiliselt haldamatu.

Isegi kui mudel on avatud lähtekoodiga ja me näeme kõiki programmeerimisjooni, See ei tähenda, et me saaksime iga ennustust üksikasjalikult selgitada.On võimalik jälgida, kuidas andmed kihtide vahel liiguvad ja milliseid toiminguid rakendatakse, kuid pole teostatav põhjendada, miks miljonite parameetrite konkreetne kombinatsioon annab ühele inimesele tulemuseks „heaks kiidetud“ ja teisele „keeldunud“.

Kokkuvõttes Must kast ei ole ainult ärisaladuse hoidmise tagajärgSee on ka tagajärg äärmiselt keerukate arhitektuuride valimisele, mis optimeerivad täpsust, kuid ohverdavad tõlgendatavuse.

Läbipaistmatus, eelarvamused ja diskrimineerimine: kui must kast tekitab kahju

Läbipaistmatuse puudumine pole pelgalt teoreetiline puudus. Algoritmiline läbipaistmatus võib viia ebaõiglaste, diskrimineerivate või lausa valede otsusteni.ilma et oleks selget viisi probleemi õigeaegseks avastamiseks või parandamiseks.

Sageli viidatud näide on projekt Soolised varjudJoy Buolamwini ja Timnit Gebru poolt läbi viidud uuring, milles analüüsiti erinevaid kommertslikke näotuvastussüsteeme. Uuring näitas, et Tumeda nahaga naiste tuvastamisel olid veamäärad palju kõrgemad. et heledanahaliste meeste tuvastamisel: mõnel juhul üle 34% vea võrreldes alla 1%-ga parima ravi saanud rühmas.

Üldtulemuste põhjal tundusid need süsteemid hästi toimivat. Aga Jaota vead soo ja nahatooni järgi Ilmnes väga murettekitav ebavõrdsus. See ongi täpselt üks musta kasti lõkse: Tõsised vead võivad peituda keskmises ja jääda märkamatuks, kui keegi tulemusi tähelepanelikult ei uuri.

Selline eelarvamus on tavaliselt tahtmatu. Tehisintellekt õpib meie antud andmetest ja kui need andmed peegeldavad ajaloolist ebavõrdsust või alaesindavad teatud gruppe, Mudel taastoodab ja võimendab neid ebaõiglusi ilma, et keegi oleks seda otseselt "käskinud".Ja kuna see on läbipaistmatu, muutub diskrimineerivate muutujate või kombinatsioonide tuvastamine väga keeruliseks ülesandeks.

Läbipaistmatus teeb ka keeruliseks süstemaatiliste vigade või haavatavuste tuvastamineKui me ei tea, kuidas mudel "arutleb", on raskem ennustada, millised sisendid võivad viia selle "hallutsinatsioonideni" (valede, kuid veenvate vastuste genereerimiseni) või langeda vastandlikesse lõksudesse, mille eesmärk on seda manipuleerida.

Kõigel sellel on üks selge tagajärg: Usaldus kasutajate, klientide ja ametivõimude vahel on õõnestanud.Kui keegi saab tehisintellekti põhjal negatiivse otsuse ja keegi ei oska selgelt selgitada, milliseid tegureid arvesse võeti, on normaalne, et tekivad kahtlused süsteemi õigluse ja legitiimsuse osas.

Eetiline, õiguslik ja vastutusmõju

Juriidilisest vaatepunktist tekitab must kast tõsise probleemi: See raskendab tehisintellekti süsteemi ja tekitatud kahju vahelise põhjusliku seose tõendamistTsiviilvastutuse tuvastamiseks on tavaliselt vaja kahju, süülise või puuduliku käitumise ja põhjusliku seose kombinatsiooni. Kui otsus põhineb läbipaistmatul mudelil, muutub see kolmas element ebastabiilseks.

Analoogmaailmas arutati vallandamise, krediidi andmisest keeldumise või juurdepääsu filtreerimise ülevaatamise teel dokumendid, kriteeriumid, tunnistajad ja selgesõnalised motivatsioonidTehisintellekti mudelite puhul paigutatakse sisendandmete ja lõpliku otsuse vahele raskesti rekonstrueeritavad järelduskihid, mida sageli haldab osalejate ahel (mudeli pakkuja, integraator, kasutajaettevõte, andmeid pakkuvad kolmandad osapooled), mis lahjendab seda, kes mida kontrollib.

Lisaks on kassa suletuna hoidmiseks selge stiimul: Operaator saab peituda ärisaladuse või tehnilise keerukuse taha et vältida asjakohase teabe avalikustamist kohtuvaidlustes. Kui kannatanul pole juurdepääsu andmetele, tehnilisele dokumentatsioonile või otsuste jälgedele, muutub kahju tekitamise tõendamine tehisintellekti süsteemi tõttu peaaegu võimatuks.

Euroopa seadusandja vastus on jõuline: kui täielik selgitatavus pole võimalik, Kogu testi koormat ei saa panna kõige nõrgemale osale.Seega näeme uusi regulatsioone, mis nõuavad logide säilitamist, süsteemi toimimise dokumenteerimist, auditite autoriseerimist ja protseduurilisel tasandil avada uks tõendite ja eelduste esitamiseks kannatanu kasuks kui operaator ei tee koostööd.

Vaatleme näiteks ettevõtet, mis kasutab personalijuhtimise valdkonnas tehisintellekti tööriistu, et sõelu CV-sid, hinda tulemusi või soovita ametikõrgendustFormaalselt langetab lõpliku otsuse inimene, kuid praktikas tugineb see suuresti tehisintellekti loodud aruannetele. Kui töötaja lükatakse tagasi või vallandatakse ja talle ei anta juurdepääsu Milliseid andmeid kasutati, milline oli nende kaal ja milliseid mustreid tuvastati. Ega ka seda, milline tehniline dokumentatsioon süsteemi toetab; must kast mitte ainult ei otsusta, vaid ka takistab otsuse tõhusat vaidlustamist.

Selgitatav tehisintellekt ja tõlgendatavus: kasti avamine

Nende probleemide leevendamiseks on valdkond Selgitatav tehisintellekt või XAI (selgitatav tehisintellekt)Eesmärk ei ole niivõrd algoritmi tegude rida-realt "tõlkimine", kuivõrd kasulike, arusaadavate ja tegutsemiskõlblike selgituste pakkumine, miks mudel on teatud otsuse teinud.

On kaks peamist lähenemisviisi. Ühelt poolt on olemas sisemiselt tõlgendatavad ehk valge kasti mudelidLihtsad algoritmid, nagu lineaarsed regressioonid, pealiskaudsed otsustuspuud või loogilised reeglid, näitavad selgelt, millised muutujad on kaasatud, milliseid reegleid rakendatakse ja kuidas tulemuseni jõutakse. Sellised mudelid hõlbustavad auditeerimist ja jälgitavust, kuigi mõnikord ohverdavad need täpsust.

Teiselt poolt on meil keerulised mudelid (must kast), millele rakendatakse tagantjärele selgitustehnikaidSiin tulevadki mängu sellised tööriistad nagu LIME, SHAP, olulisuskaardid või Grad-CAM, mis võimaldavad meil hinnata, millistel tunnustel on olnud konkreetses ennustuses kõige suurem kaal, või visualiseerida, millised pildi alad on diagnoosi panemisel olnud määravad.

Näiteks meditsiiniasutustes on SHAP-tüüpi tehnikaid kasutatud selleks, et analüüsida diagnostilisi pildimudeleid ja avastades, et mõnel juhul pööras süsteem liiga palju tähelepanu röntgenpildil olevatele märgistustele või märkustele, mitte asjakohastele kliinilistele mustritele. Nende kõrvalekallete tuvastamine võimaldab mudelit korrigeerida ja riske vähendada.

Lisaks on selgitatavusel oluline inimlik mõõde: Selgitusest pole erilist kasu, kui selle saaja sellest aru ei saa.Arstil ei ole samu vajadusi kui andmeinseneril, kohtunikul ei ole samu vajadusi kui patsiendil või pangakliendil. Seepärast töötame multidistsiplinaarselt, ühendades tehnoloogia kognitiivse psühholoogia ja liidese disainiga, et kohandada selgitust seda saava inimese profiiliga.

Must kast vs valge kast vs seletatav tehisintellekt: kuidas need erinevad?

Mõisteid „valge kast”, „must kast” ja „seletatav tehisintellekt” kasutatakse sageli sünonüümidena, kuid nad ei ole täpselt samadOluline on termineid selgitada, sest see segadus tekitab märkimisväärseid arusaamatusi.

Un valge kasti mudel on tema, kelle Sisemine töö on läbipaistev ja arusaadavOn lihtne näha, millised muutujad on kaasatud, kuidas need kombineeruvad, millised reeglid kehtivad ja kuidas sisendist saab väljund. Tüüpilised näited on: täpselt määratletud lineaarsed regressioonid või lihtsad otsustuspuudNeed mudelid on iseennast tõlgendavad: nende struktuur toimib juba selgitusena.

Un musta kasti mudelTeisest küljest on see selline, mille sisemist loogikat ei ole kerge jälgida. See hõlmaks järgmist: sügavad närvivõrgud, väga keerulised juhuslikud metsad, XGBoost-tüüpi võimendamine ja üldiselt iga süsteem, millel on mitu parameetrite kihti, mida on raske selgeteks inimlikeks reegliteks tõlkida.

La Seletav AI (XAI) See on laiem raamistik, mis hõlmab nii valge kastiga mudeleid kui ka mustade kastide puhul rakendatud tehnikad post-hoc selgituste genereerimiseksVäga keerulist mudelit võib pidada „seletatavaks“, kui sellega kaasnevad tööriistad, mis võimaldavad näiteks muutujate olulisuse jaotamist, oluliste punktide visualiseerimist või kontrastsete näidete genereerimist („kui teie palk oleks olnud X ja staaž Y, oleks tulemus muutunud“).

Praktikas kombineerivad paljud organisatsioonid mõlemat lähenemisviisi: Nad kasutavad lihtsaid mudeleid, kui läbipaistvus kaalub üles täpsuse (tugevalt reguleeritud juhtudel) ja kasutada võimsamaid mudeleid koos XAI-ga, kui nad peavad ennustusvõimet maksimeerima, kuid ilma tõlgendamisest täielikult loobumata.

Euroopa regulatsioon: tehisintellekti seadus, isikuandmete kaitse üldmäärus ja tootevastutus

Euroopa Liit on otsustanud algoritmilise läbipaistmatuse probleemi lahendada mitmest küljest. Ühelt poolt Andmekaitse üldmäärus (RGPD) See kehtestab juba teatud kohustused isikuandmetel põhinevate automatiseeritud otsuste tegemisel, nõudes, et kasutatud loogika kohta esitataks „sisukas“ teave viisil, mis on mõjutatud isikule arusaadav.

Sellele lisandub veel Tehisintellekti seadus või Euroopa tehisintellekti määrus, mis on jõus alates 2024. aasta augustist ja millega luuakse tehisintellekti süsteemide arendamise ja kasutuselevõtu konkreetne raamistik ELis. Määrus liigitab süsteemid riskitasemete järgi, keelates otseselt „vastuvõetamatu riskiga” inimesed (näiteks sotsiaalne punktisüsteem massilise sotsiaalse krediidi stiilis või teatud äärmuslikud käitumusliku manipuleerimise tehnikad).

Süsteemid kõrge riskiga (näiteks mõned kasutusviisid tervishoius, rahanduses, personalijuhtimise valdkonnas, hariduses või julgeolekujõududes) on allutatud rangetele kohustustele: neil peab olema Põhjalik tehniline dokumentatsioon, jälgitavust võimaldav automatiseeritud arvestus (logimine), selge ja arusaadav teave kasutajatele ja tõhusad inimjärelevalve mehhanismid.

Lisaks kehtestab tehisintellekti seadus läbipaistvuskohustused Selliste stsenaariumide puhul nagu vestlusrobotite või sisugeneraatorite kasutamine on vaja kasutajaid tehisintellektiga suhtlemise ajal hoiatada ja teatud juhtudel automaatselt genereeritud sisu märgistada. Paljusid neist kohustustest rakendatakse järk-järgult lähiaastatel, alustades kõige mõjukamatest juhtumitest.

Samal ajal uus Direktiiv (EL) 2024/2853 tootevastutuse kohta See ajakohastab tsiviilvastutuse raamistikku, et kohandada seda keskkonnaga, kus tooted võivad olla ka tarkvara ja kus rikked võivad tuleneda digitaalsetest funktsioonidest. Direktiiv tunnistab sõnaselgelt tehisintellekti süsteemide tehniline ja teaduslik keerukus ja võimaldab kohtunikel nõuda asjakohaste tõendite, sealhulgas digitaalsete tõendite esitamist ligipääsetaval ja arusaadaval viisil.

Kui operaator ei tee koostööd või rikub ohutusnõudeid, võivad mängu tulla järgmised olukorrad: defektilisuse ja põhjusliku seose eeldusedTeisisõnu, kui kannatanu esitab mõistlikke tõendeid ja kostja ei esita kohtu nõutud dokumente või andmeid, kompenseerib seadus tõendite tasakaalustamatust, kallutades kaalukausi kannatanu kasuks.

Kogu see regulatiivne pakett saadab selge sõnumi: See, kes toob turule algoritmilise keerukuse, peab võtma endale kohustuse muuta see auditeeritavaks.Must kast lakkab olemast kaitsev eelis ning muutub vastavus- ja maineriskiks.

Läbipaistvus, avatud mudelid ja lahendamata väljakutsed

Üks viis läbipaistmatuse vähendamiseks on investeerida avatud lähtekoodiga mudelid ja põhjalikud dokumenteerimistavadAvatud süsteemid võimaldavad teadlastel, regulaatoritel ja tehnilisel kogukonnal koodi uurida, katseid korrata ning tuvastada võimalikke eelarvamusi või haavatavusi.

Kuid isegi avatud lähtekoodiga tarkvara puhul on meil endiselt põhiprobleem: parameetrite ja sisemiste esituste tõlgendatavusLäbipaistva juurdepääsu tagamine ei tähenda automaatselt ka arusaamise läbipaistvust. Seetõttu pannakse nii suurt rõhku avatuse kombineerimisele avatud juurdepääsu tehnikate ning selgete juhtimis- ja auditeerimisprotsessidega.

Ametivõimud ja eksperdid rõhutavad selle olulisust edendada läbipaistvuse ja vastutuse kultuuriPea üksikasjalikke koolitus- ja kasutusandmeid, dokumenteeri mudeli muudatusi, määratle inimese järelevalve protokollid ja kujunda liidesed, mis selgitavad kasutajale süsteemi võimalusi, piiranguid ja riske.

Tööd tehakse ka selle kallal, et uued tõlgendatavuse tehnikad, näiteks hõredad autoenkoodrid ja muud meetodid, mille eesmärk on väga keerukatest mudelitest eraldada „puhtamaid” ja loetavamaid varjatud tegureid. Idee on järk-järgult läheneda omamoodi „klaaskastile”, kus sisemine keerukus säilib, kuid selgituskihid on kindlamad.

Siiski tunnistavad eksperdid, et Me ei kavatse kõiki mudeleid täiesti läbipaistvaks muuta.Tegelik väljakutse seisneb täpsuse, tõhususe ja selgitatavuse tasakaalustamises, keskendudes eriti arusaadavaks muutmisele süsteemidele, mis langetavad põhiõigustele suurt mõju avaldavaid otsuseid.

Lõppkokkuvõttes eeldab tehisintellektiga töötamine tänapäeval järgmist: Suhe peab olema koostööpõhine, mitte pime.Masinad pakuvad arvutusvõimsust ja mustrite tuvastamise võimalusi, kuid inimesed peavad jätkuvalt kehtestama eetilisi standardeid, valideerima kriitilisi tulemusi ja nõudma mõistlikke selgitusi, kui midagi ei klapi.

Selles kontekstis ei ole tehisintellekti nn läbipaistmatus ehk musta kasti efekt pelgalt tehniline probleem, vaid innovatsiooni ja regulatsiooni ning sotsiaalse usalduse vahelise hõõrdepunkti keskpunktEuroopa seadusandluse, tehisintellekti tehnikate ja heade juhtimistavade arenedes lakkab must kast olemast kättesaamatu mõistatus ja seda hakatakse pigem nägema süsteemina, mis on küll keeruline, aga mida saab ja tuleks piisavalt valgustada, et kodanikud, ettevõtted ja kohtud saaksid selle otsuseid usaldada.