Apakah kelegapan atau kotak hitam dalam AI dan mengapa ia penting?

La apa yang dipanggil "kotak hitam" kecerdasan buatan Ia telah menjadi salah satu topik paling kontroversi setiap kali kita bercakap tentang algoritma yang membuat keputusan untuk kami. Kami mempercayai sistem yang mengesyorkan ubat, memberikan pinjaman atau menapis resume… tetapi selalunya Kita tidak tahu mengapa mereka membuat keputusan sedemikianwalaupun ia secara langsung menjejaskan hak kita.

Kekurangan ketelusan ini bukan sekadar masalah teknikal: Ia mempunyai implikasi etika, perundangan, sosial dan perniagaan.Itulah sebabnya terdapat banyak perbincangan tentang kelegapan algoritma, kebolehjelasan (XAI) dan peraturan baharu seperti Akta AI Eropah, yang bertujuan untuk mewujudkan ketenteraman dalam bidang ini. Mari kita lihat perkara ini dengan tenang tetapi terperinci. Apakah sebenarnya kelegapan atau "kotak hitam" dalam AI?Mengapa ia muncul, apakah risiko yang terlibat, dan bagaimana percubaan sedang dibuat untuk membuka kotak itu tanpa kehilangan kelebihan teknologi.

Apakah maksud "kotak hitam" dan kelegapan dalam AI?

Dalam konteks kecerdasan buatan, "Kotak hitam" ialah sistem yang proses dalamannya tidak dapat difahami dengan jelasKita tahu data apa yang masuk dan hasilnya, tetapi "laluan" perantaraan tidak dapat difahami atau tidak dapat diakses oleh manusia, walaupun oleh kebanyakan pembangun.

Fenomena ini terutamanya dikaitkan dengan model pembelajaran mesin yang kompleks, seperti rangkaian saraf yang mendalamyang berfungsi dengan beribu-ribu atau berjuta-juta parameter yang diagihkan merentasi pelbagai lapisan. Tidak seperti algoritma klasik berdasarkan peraturan telus, di sini model belajar daripada pengalaman, melaraskan pemberat dalaman supaya Tiada siapa yang boleh menjejaki secara manual kombinasi neuron yang tepat yang membawa kepada tindak balas tertentu.

Kelegapan boleh timbul dalam dua cara yang berbeza tetapi saling melengkapi: di satu pihak, kerana Syarikat itu memutuskan untuk tidak mendedahkan kod atau butiran model tersebut. (untuk melindungi harta intelek mereka atau untuk strategi komersial semata-mata); sebaliknya, kerana Kerumitan matematik dan statistik yang wujud menjadikan tafsiran manusia yang intuitif hampir mustahil.walaupun kod tersebut adalah sumber terbuka.

Dalam kes kedua ini, kita biasanya bercakap tentang "kotak hitam organik"Malah pencipta sistem tidak dapat menerangkan dengan tepat corak dalaman yang telah dipelajari oleh AI atau bagaimana ia menggabungkannya dalam setiap keputusan. Dengan model pembelajaran mendalam, ini adalah perkara biasa, bukan pengecualian."

Apabila berurusan dengan sistem ini, kita hanya boleh memerhatikan panggilan dengan jelas Lapisan yang kelihatan: lapisan input dan lapisan outputKita melihat data yang dimasukkan (imej, teks, pembolehubah berangka) dan ramalan atau klasifikasi yang keluar (diluluskan/ditolak, diagnosis, cadangan…). Tetapi apa yang berlaku dalam pelbagai lapisan perantaraan tersembunyi Ia sebahagian besarnya masih di luar jangkauan pemahaman kita.

Cara model kotak hitam berfungsi: rangkaian saraf dan pembelajaran mendalam

Untuk memahami dari mana datangnya kelegapan ini, adalah berguna untuk menyemak semula, walaupun hanya secara umum, Bagaimanakah model pembelajaran mendalam distrukturkan?Daripada satu formula mudah, sistem ini terdiri daripada rangkaian saraf dengan banyak lapisan (kadang-kadang beratus-ratus) dan sebilangan besar neuron dalam setiap lapisan.

Setiap neuron pada asasnya blok kod kecil yang menerima input, menggunakan transformasi matematik dan menghasilkan outputProses pembelajaran melibatkan pelarasan, melalui berjuta-juta contoh, pemberat dan ambang semua neuron ini supaya sistem meminimumkan ralat ramalan. Masalahnya ialah, setelah dilatih, hasilnya adalah rangkaian parameter yang sangat besar yang Ia tidak sepadan dengan konsep manusia yang jelas dan berasingan.

Rangkaian jenis ini boleh menyerap jumlah data mentah yang besar (imej, audio, teks bebas, data sensor) dan mengesan corak kerumitan yang sangat besar: hubungan tak linear, gabungan ciri yang sangat halus, korelasi yang menentang intuisi kita. Disebabkan ini, mereka dapat menterjemah bahasa, menjana imej, menulis teks yang koheren atau menganalisis sinar-X dengan tepat setanding dengan pakar.

Tetapi kuasa itu datang dengan harga: perwakilan dalaman yang mereka cipta (contohnya, yang terkenal benam vektor) ialah struktur berangka berdimensi tinggi yang Mereka tidak selaras secara langsung dengan kategori manusia yang mudahKita boleh merasakan bahawa vektor tertentu mengumpulkan makna yang serupa atau neuron tertentu bertindak balas terhadap corak tertentu, tetapi peta lengkapnya boleh dikatakan tidak terurus.

Walaupun model itu sumber terbuka dan kita dapat melihat semua baris pengaturcaraan, Itu tidak bermakna kita boleh menjelaskan setiap ramalan secara terperinci.Adalah mungkin untuk menjejaki bagaimana data mengalir antara lapisan dan operasi yang digunakan, tetapi adalah tidak praktikal untuk merasionalkan mengapa gabungan khusus berjuta-juta parameter menghasilkan "diluluskan" untuk seseorang dan "ditolak" untuk orang lain.

Pendek kata, Kotak hitam bukan semata-mata disebabkan oleh kerahsiaan korporatIa juga merupakan akibat daripada memilih seni bina yang sangat kompleks yang mengoptimumkan ketepatan, tetapi mengorbankan kebolehtafsiran.

Kelegapan, bias dan diskriminasi: apabila kotak hitam menyebabkan bahaya

Kekurangan ketelusan bukan sekadar kelemahan teori. Kelegapan algoritma boleh menyebabkan keputusan yang tidak adil, diskriminatif atau salah sama sekali.tanpa cara yang jelas untuk mengesan masalah atau membetulkannya tepat pada waktunya.

Contoh yang sering disebut ialah projek Warna Jantinaoleh Joy Buolamwini dan Timnit Gebru, yang menganalisis pelbagai sistem pengecaman wajah komersial. Kajian menunjukkan bahawa Kadar ralat adalah jauh lebih tinggi apabila mengenal pasti wanita berkulit gelap. bahawa apabila mengenal pasti lelaki berkulit cerah: dalam beberapa kes, lebih daripada 34% ralat berbanding kurang daripada 1% untuk kumpulan yang dirawat dengan terbaik.

Berdasarkan keputusan keseluruhan, sistem ini nampaknya berfungsi dengan baik. Tetapi pecahkan kesilapan mengikut jantina dan tona kulit Ketaksamaan yang sangat membimbangkan terbongkar. Itulah salah satu perangkap kotak hitam: Kecacatan serius boleh disembunyikan dalam purata dan tidak disedari jika tiada sesiapa yang meneliti hasilnya dengan teliti.

Jenis bias ini biasanya tidak disengajakan. AI belajar daripada data yang kita berikan, dan jika data tersebut mencerminkan ketaksamaan sejarah atau kurang mewakili kumpulan tertentu, Model ini menghasilkan semula dan menguatkan ketidakadilan ini tanpa sesiapa pun yang secara nyata "memerintahkannya" untuk berbuat demikian.Dan kerana ia legap, mengesan pembolehubah atau kombinasi yang menghasilkan diskriminasi menjadi tugas yang sangat kompleks.

Kelegapan juga menjadikannya sukar pengenalpastian ralat atau kelemahan sistematikJika kita tidak tahu bagaimana model itu "memikirkan", adalah lebih sukar untuk meramalkan jenis input yang mungkin menyebabkannya "berhalusinasi" (menjana respons palsu tetapi meyakinkan) atau jatuh ke dalam perangkap adversarial yang direka untuk memanipulasinya.

Semua ini mempunyai satu akibat yang jelas: Kepercayaan antara pengguna, pelanggan dan pihak berkuasa terhakis.Jika seseorang mengalami keputusan negatif berdasarkan AI dan tiada siapa yang dapat menjelaskan dengan jelas faktor-faktor yang telah diambil kira, adalah perkara biasa jika timbul keraguan tentang keadilan dan kesahihan sistem tersebut.

Impak etika, perundangan dan liabiliti

Dari sudut pandangan perundangan, kotak hitam menimbulkan masalah yang serius: Ia merumitkan pembuktian hubungan kausal antara sistem AI dan kerosakan yang dialamiUntuk membuktikan liabiliti sivil, gabungan kerosakan, kelakuan yang bersalah atau cacat, dan kaitan kausal biasanya diperlukan. Apabila keputusan berdasarkan model yang tidak jelas, elemen ketiga ini menjadi tidak stabil.

Dalam dunia analog, membincangkan pemecatan, penafian kredit atau penapis akses dilakukan dengan menyemak dokumen, kriteria, saksi dan motivasi yang jelasDengan model AI, lapisan inferens yang sukar dibina semula diletakkan di antara data input dan keputusan muktamad, yang selalunya diuruskan oleh rangkaian pelakon (penyedia model, penyepadu, syarikat pengguna, pihak ketiga yang menyediakan data) yang mencairkan siapa yang mengawal apa.

Tambahan pula, terdapat insentif yang jelas untuk memastikan mesin juruwang ditutup: Pengendali boleh bersembunyi di sebalik kerahsiaan perdagangan atau kerumitan teknikal untuk mengelakkan pendedahan maklumat berkaitan dalam litigasi. Jika mangsa tidak dapat mengakses rekod, dokumentasi teknikal atau jejak keputusan, membuktikan bahawa bahaya itu disebabkan oleh sistem AI menjadi hampir mustahil.

Respons daripada penggubal undang-undang Eropah adalah tegas: jika penjelasan penuh tidak mungkin, Seluruh beban ujian tidak boleh diletakkan pada bahagian yang paling lemah.Oleh itu, kita melihat peraturan baharu yang memerlukan pemeliharaan log, dokumentasi tentang cara sistem berfungsi, kebenaran audit, dan, pada peringkat prosedur, membuka pintu kepada penyampaian bukti dan andaian yang memihak kepada pihak yang cedera apabila pengendali tidak memberi kerjasama.

Mari kita pertimbangkan, sebagai contoh, sebuah syarikat yang menggunakan alatan AI dalam sumber manusia untuk menyaring resume, menjaringkan skor prestasi atau mengesyorkan promosiSecara rasmi, keputusan muktamad terletak pada seseorang, tetapi dalam praktiknya, ia banyak bergantung pada laporan yang dijana AI. Jika seorang pekerja ditolak atau diberhentikan dan tidak diberi akses kepada data apa yang digunakan, berapa beratnya, corak apa yang dikesan Begitu juga dokumentasi teknikal yang menyokong sistem; kotak hitam bukan sahaja menentukan: ia juga menghalang cabaran keputusan secara berkesan.

AI yang boleh dijelaskan dan kebolehtafsiran: cuba membuka kotak

Untuk mengurangkan masalah ini, bidang AI atau XAI yang Boleh Dijelaskan (Kecerdasan Buatan yang Boleh Dijelaskan)Matlamatnya bukanlah untuk "menterjemahkan" baris demi baris apa yang dilakukan oleh algoritma, tetapi untuk memberikan penjelasan yang berguna, difahami dan boleh diambil tindakan tentang mengapa model telah membuat keputusan tertentu.

Terdapat dua pendekatan utama. Di satu pihak, terdapat model yang boleh ditafsirkan secara intrinsik atau model kotak putihAlgoritma mudah seperti regresi linear, pokok keputusan cetek atau peraturan logik menunjukkan dengan jelas pembolehubah yang disertakan, peraturan yang digunakan dan bagaimana hasilnya dicapai. Model jenis ini memudahkan pengauditan dan kebolehkesanan, walaupun kadangkala ia mengorbankan sedikit ketepatan.

Sebaliknya, kita ada model kompleks (kotak hitam) yang mana teknik penjelasan a posteriori digunakanDi sinilah alat seperti LIME, SHAP, peta penonjolan atau Grad-CAM memainkan peranan, yang membolehkan kita menganggarkan ciri mana yang paling memberi pemberat dalam ramalan tertentu atau untuk menggambarkan kawasan imej mana yang telah menentukan diagnosis.

Contohnya, teknik jenis SHAP telah digunakan dalam persekitaran perubatan untuk menganalisis model pengimejan diagnostik dan mendapati bahawa, dalam beberapa kes, sistem tersebut terlalu memberi perhatian kepada tanda atau anotasi pada sinar-X dan bukannya corak klinikal yang berkaitan. Mengesan sisihan ini membolehkan pembetulan pada model dan pengurangan risiko.

Tambahan pula, kebolehjelasan mempunyai dimensi manusia yang penting: Penjelasan tidak berguna jika orang yang menerimanya tidak memahaminya.Seorang doktor tidak mempunyai keperluan yang sama seperti jurutera data, seorang hakim tidak mempunyai keperluan yang sama seperti pesakit atau pelanggan bank. Itulah sebabnya kami bekerja secara pelbagai disiplin, menggabungkan teknologi dengan psikologi kognitif dan reka bentuk antara muka untuk menyesuaikan penjelasan dengan profil orang yang menerimanya.

Kotak hitam vs kotak putih vs AI yang boleh dijelaskan: apakah perbezaannya?

"Kotak putih", "kotak hitam" dan "AI yang boleh dijelaskan" sering digunakan secara bergantian, tetapi mereka tidak betul-betul samaAdalah penting untuk menjelaskan istilah-istilah tersebut kerana kekeliruan ini menimbulkan salah faham yang ketara.

Un model kotak putih adakah dia yang Kerja dalaman adalah telus dan mudah difahamiMudah untuk melihat pembolehubah yang terlibat, bagaimana ia digabungkan, peraturan yang terpakai dan bagaimana input menjadi output. Contoh biasa ialah: regresi linear yang ditentukan dengan baik atau pokok keputusan mudahModel-model ini boleh ditafsirkan sendiri: strukturnya sudah bertindak sebagai penjelasan.

Un model kotak hitamSebaliknya, ia adalah sesuatu yang logik dalamannya tidak mudah diikuti. Ini termasuk rangkaian saraf dalam, hutan rawak yang sangat kompleks, penggalakan jenis XGBoost dan, secara amnya, mana-mana sistem dengan berbilang lapisan parameter yang sukar diterjemahkan kepada peraturan manusia yang jelas.

La AI boleh dijelaskan (XAI) Ia merupakan payung yang lebih luas yang merangkumi kedua-dua model kotak putih dan teknik yang digunakan pada kotak hitam untuk menghasilkan penjelasan pasca-hocModel yang sangat kompleks boleh dianggap "boleh dijelaskan" jika ia disertakan dengan alat yang membolehkan, contohnya, memecahkan kepentingan pembolehubah, menggambarkan perkara penting atau menghasilkan contoh kontrastif ("jika gaji anda ialah X dan kekananan anda ialah Y, hasilnya akan berubah").

Dalam praktiknya, banyak organisasi menggabungkan kedua-dua pendekatan: Mereka menggunakan model mudah apabila ketelusan mengatasi ketepatan (kes yang dikawal selia dengan ketat) dan menggunakan model yang lebih berkuasa yang disertai oleh XAI apabila ia perlu memaksimumkan kapasiti ramalan, tetapi tanpa meninggalkan tafsiran sepenuhnya.

Peraturan Eropah: Akta AI, GDPR dan liabiliti produk

Kesatuan Eropah telah memutuskan untuk menangani kelegapan algoritma dari beberapa sudut. Di satu pihak, Peraturan Perlindungan Data Umum (RGPD) Ia telah mengenakan kewajipan tertentu apabila keputusan automatik dibuat berdasarkan data peribadi, yang memerlukan maklumat "bermakna" tentang logik yang digunakan diberikan dengan cara yang difahami oleh pihak yang terjejas.

Ditambah kepada ini ialah Akta AI atau Peraturan Kecerdasan Buatan Eropah, berkuat kuasa sejak Ogos 2024, yang menetapkan rangka kerja khusus untuk pembangunan dan penggunaan sistem AI di EU. Peraturan tersebut mengklasifikasikan sistem mengikut tahap risiko, secara langsung melarang perkara yang mempunyai "risiko yang tidak boleh diterima" (seperti pemarkahan sosial dalam gaya kredit sosial besar-besaran atau teknik manipulasi tingkah laku ekstrem tertentu).

Sistem berisiko tinggi (contohnya, beberapa kegunaan dalam kesihatan, kewangan, sumber manusia, pendidikan atau pasukan keselamatan) tertakluk kepada kewajipan yang ketat: ia mesti mempunyai Dokumentasi teknikal terperinci, rekod automatik (pembalakan) yang membolehkan pengesanan, maklumat yang jelas dan mudah difahami oleh pengguna dan mekanisme pengawasan manusia yang berkesan.

Tambahan pula, Akta AI mengenakan obligasi ketelusan Dalam senario seperti penggunaan chatbot atau penjana kandungan, adalah perlu untuk memberi amaran kepada pengguna apabila mereka berinteraksi dengan AI dan, dalam kes tertentu, untuk melabelkan kandungan yang dijana secara automatik. Kebanyakan kewajipan ini akan dilaksanakan secara beransur-ansur dalam beberapa tahun akan datang, bermula dengan kes yang paling memberi kesan.

Sementara itu, yang baru Arahan (EU) 2024/2853 mengenai liabiliti untuk produk yang rosak Ia mengemas kini rangka kerja liabiliti sivil untuk menyesuaikannya dengan persekitaran di mana produk juga boleh menjadi perisian dan di mana kegagalan boleh berasal daripada fungsi digital. Arahan tersebut secara nyata mengiktiraf kerumitan teknikal dan saintifik sistem AI dan membolehkan hakim menuntut pembentangan bukti yang berkaitan, termasuk bukti digital, dengan cara yang mudah diakses dan difahami.

Jika pengendali gagal bekerjasama atau melanggar kewajipan keselamatan, perkara berikut mungkin akan berlaku: andaian kecacatan dan kausalitasDalam erti kata lain, jika pihak yang cedera memberikan bukti yang munasabah dan defendan tidak memberikan rekod atau dokumentasi yang diminta oleh mahkamah, undang-undang akan mengimbangi ketidakseimbangan bukti dengan memberi kelebihan kepada mangsa.

Keseluruhan pakej kawal selia ini menghantar mesej yang jelas: Sesiapa yang memperkenalkan kerumitan algoritma ke dalam pasaran mesti memikul tanggungjawab untuk menjadikannya boleh diauditKotak hitam tidak lagi menjadi kelebihan pertahanan dan menjadi risiko pematuhan dan reputasi.

Ketelusan, model terbuka dan cabaran yang sedang menunggu

Satu cara untuk mengurangkan kelegapan adalah dengan melabur dalam model sumber terbuka dan amalan dokumentasi yang komprehensifSistem terbuka membolehkan penyelidik, pengawal selia dan komuniti teknikal untuk memeriksa kod, meniru eksperimen dan mengesan potensi bias atau kelemahan.

Walau bagaimanapun, walaupun dengan sumber terbuka, kita masih mempunyai masalah yang mendasari: kebolehtafsiran parameter dan perwakilan dalamanKetelusan akses tidak secara automatik bermaksud ketelusan pemahaman. Itulah sebabnya terdapat begitu banyak penekanan untuk menggabungkan keterbukaan dengan teknik akses terbuka serta proses tadbir urus dan audit yang jelas.

Pihak berkuasa dan pakar menekankan kepentingan menggalakkan budaya ketelusan dan akauntabilitiMengekalkan rekod latihan dan penggunaan yang terperinci, mendokumentasikan perubahan model, mentakrifkan protokol penyeliaan manusia dan mereka bentuk antara muka yang menerangkan keupayaan, batasan dan risiko sistem kepada pengguna.

Kerja juga sedang dilakukan teknik kebolehtafsiran baharu, seperti pengekod automatik jarang dan kaedah lain yang bertujuan untuk mengekstrak faktor terpendam yang "lebih bersih" dan lebih mudah dibaca daripada model yang sangat kompleks. Ideanya adalah untuk secara beransur-ansur mendekati sejenis "kotak kaca", di mana kerumitan dalaman kekal, tetapi dengan lapisan penjelasan yang lebih mantap.

Walau bagaimanapun, pakar mengakui bahawa Kami tidak akan menjadikan semua model telus sepenuhnya.Cabaran sebenar adalah untuk mengimbangi ketepatan, kecekapan dan kebolehjelasan, dengan memberi tumpuan kepada menjadikan sistem yang membuat keputusan dengan impak yang tinggi terhadap hak asasi mudah difahami.

Akhirnya, bekerja dengan AI hari ini memerlukan andaian bahawa Hubungan itu perlu bersifat kolaboratif, bukan membuta tuli.Mesin menyediakan kuasa pengkomputeran dan keupayaan pengesanan corak, tetapi manusia mesti terus menetapkan piawaian etika, mengesahkan keputusan kritikal dan menuntut penjelasan yang munasabah apabila sesuatu tidak kena.

Dalam konteks ini, apa yang dipanggil "kelegaan" atau kesan kotak hitam AI bukan sekadar masalah teknikal tetapi titik pusat geseran antara inovasi dan peraturan serta kepercayaan sosialKetika perundangan Eropah, teknik AI dan amalan tadbir urus yang baik semakin maju, kotak hitam tidak lagi menjadi misteri yang sukar dicapai dan mula dilihat lebih sebagai sistem yang, walaupun kompleks, boleh dan harus diterangi secukupnya supaya rakyat, syarikat dan mahkamah boleh mempercayai keputusannya.