- Neskaidrumas arba „juodoji dėžė“ dirbtiniame intelekte atsiranda, kai modeliai, ypač gilaus mokymosi modeliai, priima sprendimus, kurių negali aiškiai paaiškinti net jų kūrėjai.
- Dėl šio skaidrumo trūkumo kyla šališkumo, diskriminacijos, pasitikėjimo praradimo ir teisinių problemų įrodinėjant priežastinį ryšį tarp dirbtinio intelekto sistemos ir konkrečios žalos rizika.
- Paaiškinamasis dirbtinis intelektas (XAI) apjungia interpretuojamus modelius ir post-hoc metodus, tokius kaip LIME arba SHAP, kad iš dalies atvertų juodąją dėžę ir pateiktų naudingų paaiškinimų vartotojams ir reguliavimo institucijoms.
- Tokie reglamentai kaip BDAR, Dirbtinio intelekto įstatymas ir Atsakomybės už gaminius direktyva reikalauja, kad dirbtinio intelekto sistemos būtų registruojamos, dokumentuojamos ir audituojamos, todėl paaiškinamumas yra etinis ir teisinis reikalavimas.
La vadinamoji dirbtinio intelekto „juodoji dėžė“ Tai tapo viena prieštaringiausių temų kiekvieną kartą, kai apie tai kalbame algoritmai, kurie priima sprendimus mums. Mes pasikliaujame sistemomis, kurios rekomenduoja vaistus, suteikia paskolas arba filtruoja gyvenimo aprašymus... bet dažnai Mes neturime supratimo, kodėl jie priima tokius sprendimusnet ir tada, kai jie tiesiogiai paveikia mūsų teises.
Šis skaidrumo trūkumas nėra vien techninė problema: Tai turi etinių, teisinių, socialinių ir verslo pasekmių.Štai kodėl tiek daug kalbama apie algoritmų neskaidrumą, paaiškinamumą (XAI) ir naujus reglamentus, tokius kaip Europos dirbtinio intelekto įstatymas, kuriais siekiama būtent sutvarkyti šią sritį. Pažvelkime į tai ramiai, bet išsamiai. Kas tiksliai yra neskaidrumas arba „juodoji dėžė“ dirbtiniame intelekte?Kodėl tai atsiranda, kokią riziką tai kelia ir kaip bandoma atverti tą dėžutę neprarandant technologijos privalumų.
Ką reiškia „juodoji dėžė“ ir neskaidrumas dirbtiniame intelekte?
Dirbtinio intelekto kontekste, a „Juodoji dėžė“ yra sistema, kurios vidinių procesų negalima aiškiai suprasti.Žinome, kokie duomenys patenka ir koks rezultatas gaunamas, tačiau tarpinis „kelias“ žmonėms, net daugeliui kūrėjų, yra nesuprantamas arba nepasiekiamas.
Šis reiškinys pirmiausia susijęs su sudėtingi mašininio mokymosi modeliai, tokie kaip gilieji neuroniniai tinklaikurie veikia su tūkstančiais ar milijonais parametrų, paskirstytų po daugybę sluoksnių. Kitaip nei klasikinis algoritmas, pagrįstas skaidriomis taisyklėmis, čia modelis mokosi iš patirties, koreguodamas vidinius svorius taip, kad Niekas negali rankiniu būdu atsekti, kuris tikslus neuronų derinys sukėlė konkretų atsaką.
Neskaidrumas gali atsirasti dviem skirtingais, bet vienas kitą papildančiais būdais: viena vertus, todėl, kad Bendrovė nusprendė neatskleisti kodo ar modelio detalių. (siekiant apsaugoti savo intelektinę nuosavybę arba dėl grynai komercinės strategijos); kita vertus, todėl, kad Dėl būdingo matematinio ir statistinio sudėtingumo intuityvus žmogaus aiškinimas yra praktiškai neįmanomas.nors kodas yra atvirojo kodo.
Antruoju atveju paprastai kalbame apie „organinės juodosios dėžės„Net sistemos kūrėjai negali tiksliai apibūdinti, kokius vidinius modelius išmoko dirbtinis intelektas arba kaip juos derina kiekviename sprendime. Naudojant gilaus mokymosi modelius, tai yra norma, o ne išimtis.“
Dirbdami su šiomis sistemomis, galime aiškiai stebėti tik skambučius Matomi sluoksniai: įvesties sluoksnis ir išvesties sluoksnisMatome įvestus duomenis (vaizdus, tekstą, skaitinius kintamuosius) ir gautas prognozes ar klasifikacijas (patvirtinta / atmesta, diagnozė, rekomendacija ir kt.). Bet kas nutinka daugybinėje sistemoje? paslėpti tarpiniai sluoksniai Tai didele dalimi lieka už mūsų supratimo ribų.
Kaip veikia juodosios dėžės modeliai: neuroniniai tinklai ir gilusis mokymasis
Norint suprasti, iš kur kyla šis neskaidrumas, naudinga apžvelgti, net jei ir trumpai, Kaip struktūrizuojami gilaus mokymosi modeliai?Vietoj vienos paprastos formulės, šios sistemos sudarytos iš neuroninių tinklų su daugybe sluoksnių (kartais šimtais) ir daugybe neuronų kiekviename sluoksnyje.
Kiekvienas neuronas iš esmės yra mažas kodo blokas, kuris gauna įvestis, taiko matematinę transformaciją ir generuoja išvestįMokymosi procesas apima visų šių neuronų svorių ir slenksčių koregavimą, remiantis milijonais pavyzdžių, kad sistema sumažintų prognozavimo paklaidas. Problema ta, kad apmokytas rezultatas yra milžiniškas parametrų tinklas, kuris Tai neatitinka aiškių ir atskirų žmogaus sąvokų.
Šio tipo tinklas gali priimti dideli neapdorotų duomenų kiekiai (vaizdai, garsas, laisvas tekstas, jutiklių duomenys) ir aptikti nepaprastai sudėtingus modelius: netiesinius ryšius, labai subtilių savybių derinius, koreliacijas, kurios nepaklūsta mūsų intuicijai. Dėl to jie gali versti kalbas, generuoti vaizdus, rašyti rišlius tekstus arba tiksliai analizuoti rentgeno nuotraukas palyginamas su specialistų.
Tačiau ši galia turi savo kainą: jų kuriamos vidinės reprezentacijos (pavyzdžiui, garsioji vektorių įterpimai) yra didelės dimensijos skaitmeninės struktūros, kurios Jie tiesiogiai neatitinka paprastų žmonių kategorijųGalime nujausti, kad tam tikri vektoriai grupuoja panašias reikšmes arba kad tam tikri neuronai reaguoja į konkrečius modelius, tačiau visas žemėlapis praktiškai nevaldomas.
Net kai modelis yra atvirojo kodo ir mes galime matyti visas programavimo linijas, Tai nereiškia, kad galime išsamiai paaiškinti kiekvieną prognozę.Galima sekti, kaip duomenys teka tarp sluoksnių ir kokios operacijos taikomos, tačiau neįmanoma paaiškinti, kodėl konkretus milijonų parametrų derinys vienam asmeniui yra „patvirtintas“, o kitam – „atmestas“.
Apibendrinant galima teigti, Juodoji dėžė yra ne tik dėl įmonės paslaptiesTai taip pat yra pasekmė to, kad buvo pasirinktos itin sudėtingos architektūros, kurios optimizuoja tikslumą, bet aukoja interpretuojamumą.
Neskaidrumas, šališkumas ir diskriminacija: kada juodoji dėžė daro žalą
Skaidrumo stoka nėra vien teorinis trūkumas. Algoritminis neskaidrumas gali lemti nesąžiningus, diskriminacinius ar net visiškai neteisingus sprendimus.nesant aiškaus būdo laiku aptikti problemą ar ją ištaisyti.
Dažnai minimas pavyzdys yra projektas Lyties atspalviaiJoy Buolamwini ir Timnit Gebru atliktame tyrime analizuojamos įvairios komercinės veido atpažinimo sistemos. Tyrimas parodė, kad Klaidų dažnis buvo daug didesnis nustatant tamsiaodes moteris. kad nustatant šviesios odos vyrus: kai kuriais atvejais paklaida viršija 34 %, palyginti su mažiau nei 1 % geriausiai gydytoje grupėje.
Remiantis bendrais rezultatais, šios sistemos, regis, veikė gerai. Tačiau suskirstykite klaidas pagal lytį ir odos atspalvį Išryškėjo labai nerimą kelianti nelygybė. Būtent tai ir yra vienas iš „juodosios dėžės“ spąstų: Vidutiniškai gali būti paslėpti rimti trūkumai ir likti nepastebėti, jei niekas atidžiai netikrins rezultatų.
Toks šališkumas paprastai yra netyčinis. Dirbtinis intelektas mokosi iš mūsų jam pateiktų duomenų ir, jei tie duomenys atspindi istorinę nelygybę arba nepakankamai reprezentuoja tam tikras grupes, Modelis atkuria ir sustiprina šias neteisybes niekam aiškiai „neįsakius“ to daryti.Ir kadangi jis yra neskaidrus, nustatyti, kurie kintamieji ar jų deriniai generuoja diskriminaciją, tampa labai sudėtinga užduotimi.
Neskaidrumas taip pat apsunkina sisteminių klaidų ar pažeidžiamumų nustatymasJei nežinome, kaip modelis „samprotauja“, sunkiau numatyti, kokie įvesties duomenys gali sukelti „haliucinacijas“ (generuoti klaidingas, bet įtikinamas reakcijas) arba patekti į priešiškus spąstus, skirtus juo manipuliuoti.
Visa tai turi vieną aiškią pasekmę: Pasitikėjimas tarp vartotojų, klientų ir valdžios institucijų mažėja.Jei kas nors patiria neigiamą sprendimą, pagrįstą dirbtiniu intelektu, ir niekas negali aiškiai paaiškinti, kokie veiksniai buvo atsižvelgta, normalu, kad kyla abejonių dėl sistemos sąžiningumo ir teisėtumo.
Etinis, teisinis ir atsakomybės poveikis
Teisiniu požiūriu, juodoji dėžė sukuria rimtą problemą: Tai apsunkina priežastinio ryšio tarp dirbtinio intelekto sistemos ir patirtos žalos įrodymąCivilinei atsakomybei nustatyti paprastai reikalingas žalos, kalto ar netinkamo elgesio ir priežastinio ryšio derinys. Kai sprendimas grindžiamas neskaidriu modeliu, šis trečiasis elementas tampa nestabilus.
Analoginiame pasaulyje atleidimas, kredito atsisakymas ar prieigos filtras buvo aptariami peržiūrint dokumentai, kriterijai, liudytojai ir aiškios motyvacijosDirbtinio intelekto modeliuose tarp įvesties duomenų ir galutinio sprendimo įterpiami sunkiai rekonstruojami išvadų sluoksniai, kuriuos dažnai valdo veikėjų grandinė (modelio teikėjas, integratorius, naudotojų įmonė, duomenis teikiančios trečiosios šalys), kuri susilpnina, kas ką kontroliuoja.
Be to, yra aiški paskata laikyti kasą uždarytą: Operatorius gali pasislėpti po komercine paslaptimi arba techniniu sudėtingumu siekiant išvengti svarbios informacijos atskleidimo bylinėjimosi metu. Jei auka negali pasiekti įrašų, techninės dokumentacijos ar sprendimų pėdsakų, įrodyti, kad žala padaryta dėl dirbtinio intelekto sistemos, tampa beveik neįmanoma.
Europos įstatymų leidėjo atsakas yra griežtas: jei visiškas paaiškinamumas neįmanomas, Negalima visos išbandymo naštos užkrauti silpniausiai daliai.Taigi, matome naujus reglamentus, reikalaujančius išsaugoti žurnalus, dokumentuoti sistemos veikimą, autorizuoti auditus ir, procedūriniu lygmeniu, atverti duris įrodymų ir prezumpcijų pateikimui nukentėjusiosios šalies naudai kai operatorius nebendradarbiauja.
Pavyzdžiui, panagrinėkime įmonę, kuri naudoja dirbtinio intelekto įrankius žmogiškųjų išteklių srityje. peržiūrėti gyvenimo aprašymus, įvertinti našumą arba rekomenduoti paaukštinimusFormaliai galutinį sprendimą priima asmuo, tačiau praktiškai jis labai priklauso nuo dirbtinio intelekto sugeneruotų ataskaitų. Jei darbuotojas atmetamas arba atleidžiamas ir jam nesuteikiama prieiga prie... Kokie duomenys buvo panaudoti, kokį svorį jie turėjo, kokie modeliai buvo aptikti Nei kokia techninė dokumentacija pagrindžia sistemą; juodoji dėžė ne tik nusprendžia: ji taip pat neleidžia veiksmingai apskųsti sprendimo.
Paaiškinamas dirbtinis intelektas ir interpretuojamumas: bandymas atverti dėžutę
Siekiant sušvelninti šias problemas, ši sritis Paaiškinamas dirbtinis intelektas arba XAI (paaiškinamas dirbtinis intelektas)Tikslas yra ne tiek eilutė po eilutės „išversti“ algoritmo veiksmus, kiek pateikti naudingus, suprantamus ir veiksmingus paaiškinimus, kodėl modelis priėmė tam tikrą sprendimą.
Yra du pagrindiniai metodai. Viena vertus, yra iš esmės interpretuojami arba baltosios dėžės modeliaiPaprasti algoritmai, tokie kaip tiesinė regresija, paviršutiniški sprendimų medžiai arba loginės taisyklės, aiškiai parodo, kurie kintamieji yra įtraukti, kurios taisyklės taikomos ir kaip pasiekiamas rezultatas. Šio tipo modeliai palengvina auditą ir atsekamumą, nors kartais jie aukoja tam tikrą tikslumą.
Kita vertus, mes turime sudėtingi modeliai (juodoji dėžė), kuriems taikomi a posteriori paaiškinimo metodaiČia praverčia tokie įrankiai kaip LIME, SHAP, reikšmingumo žemėlapiai arba Grad-CAM, kurie leidžia mums įvertinti, kurie požymiai turėjo didžiausią reikšmę konkrečioje prognozėje, arba vizualizuoti, kurios vaizdo sritys buvo lemiamos diagnozei.
Pavyzdžiui, medicinos įstaigose SHAP tipo metodai buvo naudojami siekiant analizuoti diagnostinio vaizdo modelius ir atradus, kad kai kuriais atvejais sistema per daug dėmesio skyrė rentgeno nuotraukoje esantiems žymėjimams ar anotacijoms, o ne atitinkamiems klinikiniams modeliams. Šių nukrypimų aptikimas leidžia koreguoti modelį ir sumažinti riziką.
Be to, paaiškinamumas turi svarbų žmogiškąjį aspektą: Paaiškinimas mažai naudingas, jei jį gaunantis asmuo jo nesupranta.Gydytojo poreikiai skiriasi nuo duomenų inžinieriaus, teisėjo – nuo paciento ar banko kliento. Todėl dirbame daugiadiscipliniškai, derindami technologijas su kognityvine psichologija ir sąsajų dizainu, kad paaiškinimas būtų pritaikytas jį gaunančio asmens profiliui.
Juoda dėžė, balta dėžė ir paaiškinamas dirbtinis intelektas: kuo jie skiriasi?
„Baltoji dėžė“, „juodoji dėžė“ ir „paaiškinamas dirbtinis intelektas“ dažnai vartojami kaip sinonimai, tačiau jie nėra visiškai vienodiSvarbu patikslinti terminus, nes ši painiava sukelia didelių nesusipratimų.
Un baltos dėžės modelis ar jis kurio Vidinis darbas yra skaidrus ir suprantamasLengva suprasti, kurie kintamieji yra susiję, kaip jie derinami, kokios taisyklės taikomos ir kaip įvestis tampa išvestimi. Tipiniai pavyzdžiai: tiksliai apibrėžtos tiesinės regresijos arba paprasti sprendimų medžiaiŠie modeliai yra savaime suprantami: jų struktūra jau veikia kaip paaiškinimas.
Un juodosios dėžės modelisKita vertus, tai yra toks, kurio vidinės logikos sunku sekti. Tai apimtų gilieji neuroniniai tinklai, labai sudėtingi atsitiktiniai miškai, XGBoost tipo skatinimas ir apskritai bet kokia sistema su keliais parametrų sluoksniais, kuriuos sunku paversti aiškiomis žmonių nustatytomis taisyklėmis.
La Paaiškinamas AI (XAI) Tai platesnė koncepcija, apimanti ir baltos dėžės modelius, ir... juodosioms dėžėms taikomi metodai post-hoc paaiškinimams generuotiLabai sudėtingas modelis gali būti laikomas „paaiškinamu“, jei jį papildo įrankiai, leidžiantys, pavyzdžiui, suskirstyti kintamųjų svarbą, vizualizuoti svarbiausius dalykus arba generuoti kontrastingus pavyzdžius („jei jūsų atlyginimas būtų buvęs X, o darbo stažas – Y, rezultatas būtų pasikeitęs“).
Praktiškai daugelis organizacijų derina abu metodus: Jie naudoja paprastus modelius, kai skaidrumas nusveria tikslumą (labai reglamentuotais atvejais) ir griebtis galingesnių modelių kartu su XAI, kai reikia maksimaliai padidinti prognozavimo pajėgumą, tačiau visiškai neatsisakant interpretacijos.
Europos reglamentavimas: Dirbtinio intelekto įstatymas, BDAR ir atsakomybė už gaminius
Europos Sąjunga nusprendė spręsti algoritmų neskaidrumo problemą keliais aspektais. Viena vertus, Bendrasis duomenų apsaugos reglamentas (RGPD) Jau dabar nustatytos tam tikros prievolės, kai automatizuoti sprendimai priimami remiantis asmens duomenimis, reikalaujant, kad „prasminga“ informacija apie naudojamą logiką būtų pateikta taip, kad ją suprastų suinteresuotoji šalis.
Prie to pridedama ir Dirbtinio intelekto įstatymas arba Europos dirbtinio intelekto reglamentas, galiojantis nuo 2024 m. rugpjūčio mėn., kuriuo nustatoma konkreti dirbtinio intelekto sistemų kūrimo ir diegimo ES sistema. Reglamentas klasifikuoja sistemas pagal rizikos lygius, tiesiogiai draudžiant „nepriimtinos rizikos“ atvejus (pvz., socialinį balų skaičiavimą masinio socialinio kredito stiliumi arba tam tikrus kraštutinius elgesio manipuliavimo metodus).
Sistemos didelė rizika (pavyzdžiui, kai kuriems naudojimo atvejams sveikatos apsaugos, finansų, žmogiškųjų išteklių, švietimo ar saugumo pajėgų srityse) taikomi griežti įpareigojimai: jie privalo Išsami techninė dokumentacija, automatizuoti įrašai (registravimas), užtikrinantys atsekamumą, aiški ir suprantama informacija vartotojams ir veiksmingus žmonių priežiūros mechanizmus.
Be to, Dirbtinio intelekto įstatymas nustato skaidrumo įsipareigojimai Tokiais atvejais, kaip pokalbių robotų ar turinio generatorių naudojimas, būtina įspėti vartotojus, kai jie sąveikauja su dirbtiniu intelektu, ir tam tikrais atvejais žymėti automatiškai generuojamą turinį. Daugelis šių įsipareigojimų bus įgyvendinami palaipsniui per ateinančius metus, pradedant nuo didžiausią įtaką turinčių atvejų.
Tuo tarpu naujasis Direktyva (ES) 2024/2853 dėl atsakomybės už gaminius su defektais Direktyva atnaujina civilinės atsakomybės sistemą, kad ji būtų pritaikyta aplinkai, kurioje produktai gali būti ir programinė įranga, o gedimai gali kilti dėl skaitmeninių funkcijų. Direktyvoje aiškiai pripažįstama, kad dirbtinio intelekto sistemų techninis ir mokslinis sudėtingumas ir suteikia teisėjams galimybę reikalauti pateikti atitinkamus įrodymus, įskaitant skaitmeninius įrodymus, prieinamu ir suprantamu būdu.
Jei operatorius nebendradarbiauja arba pažeidžia saugos įsipareigojimus, gali būti taikomos šios priemonės: trūkumų ir priežastingumo prezumpcijosKitaip tariant, jei nukentėjusioji šalis pateikia pagrįstų įrodymų, o atsakovas nepateikia teismo prašomų įrašų ar dokumentų, įstatymas kompensuoja įrodymų disbalansą, nusversdamas svarstykles nukentėjusiojo naudai.
Visas šis reguliavimo paketas siunčia aiškią žinią: Kas įveda į rinką algoritminį sudėtingumą, tas privalo prisiimti pareigą užtikrinti, kad jis būtų audituojamas.Juodoji dėžė nustoja būti gynybiniu pranašumu ir tampa atitikties bei reputacijos rizika.
Skaidrumas, atviri modeliai ir neišspręsti iššūkiai
Vienas iš būdų sumažinti neskaidrumą yra investuoti į atvirojo kodo modeliai ir išsami dokumentavimo praktikaAtviros sistemos leidžia tyrėjams, reguliuotojams ir techninei bendruomenei išnagrinėti kodą, pakartoti eksperimentus ir aptikti galimus šališkumus ar pažeidžiamumus.
Tačiau net ir turint atvirojo kodo programinę įrangą, vis tiek susiduriame su pagrindine problema: parametrų ir vidinių reprezentacijų interpretuojamumasPrieigos skaidrumas nebūtinai reiškia supratimo skaidrumą. Štai kodėl tiek daug dėmesio skiriama atvirumo derinimui su atviros prieigos metodais ir aiškiais valdymo bei audito procesais.
Valdžios institucijos ir ekspertai pabrėžia, kad svarbu skatinti skaidrumo ir atskaitomybės kultūrąTvarkyti išsamius mokymo ir naudojimo įrašus, dokumentuoti modelio pakeitimus, apibrėžti žmogaus priežiūros protokolus ir kurti sąsajas, kurios paaiškintų sistemos galimybes, apribojimus ir riziką vartotojui.
Taip pat dirbama ties nauji interpretavimo metodai, pavyzdžiui, reti autoenkoderiai ir kiti metodai, kuriais siekiama iš labai sudėtingų modelių išskirti „švaresnius“ ir lengviau įskaitomus latentinius veiksnius. Idėja yra palaipsniui artėti prie savotiškos „stiklinės dėžės“, kurioje išlieka vidinis sudėtingumas, tačiau yra tvirtesnių paaiškinimo sluoksnių.
Tačiau ekspertai pripažįsta, kad Mes nepadarysime visų modelių visiškai skaidrių.Tikrasis iššūkis – subalansuoti tikslumą, efektyvumą ir paaiškinamumą, daugiausia dėmesio skiriant tam, kad būtų ypač suprantamos tos sistemos, kurios priima sprendimus, turinčius didelį poveikį pagrindinėms teisėms.
Galiausiai, dirbant su dirbtiniu intelektu šiandien reikia daryti prielaidą, kad Santykiai turi būti bendradarbiavimo, o ne aklumo principai.Mašinos suteikia skaičiavimo galią ir dėsningumų aptikimo galimybes, tačiau žmonės turi ir toliau nustatyti etikos standartus, patvirtinti svarbiausius rezultatus ir reikalauti pagrįstų paaiškinimų, kai kažkas nesutampa.
Šiame kontekste vadinamasis dirbtinio intelekto „neskaidrumas“ arba juodosios dėžės efektas yra ne tik techninė problema, bet ir pagrindinis inovacijų, reguliavimo ir socialinio pasitikėjimo trinties taškasTobulėjant Europos teisės aktams, dirbtinio intelekto technologijoms ir gerosios valdymo praktikos sričiai, „juodoji dėžė“ nustoja būti neįveikiama paslaptimi ir pradedama laikyti sistema, kuri, nors ir sudėtinga, gali ir turėtų būti pakankamai išaiškinta, kad piliečiai, įmonės ir teismai galėtų pasitikėti jos sprendimais.
Aistringas rašytojas apie baitų pasaulį ir technologijas apskritai. Man patinka dalytis savo žiniomis rašydamas, būtent tai ir darysiu šiame tinklaraštyje, parodysiu jums įdomiausius dalykus apie programėles, programinę įrangą, techninę įrangą, technologijų tendencijas ir kt. Mano tikslas – padėti jums paprastai ir smagiai naršyti skaitmeniniame pasaulyje.