Apa itu opasitas atau kotak hitam dalam AI dan mengapa hal itu penting?

La yang disebut "kotak hitam" kecerdasan buatan Hal ini selalu menjadi salah satu topik paling kontroversial setiap kali kita membicarakannya. algoritma yang membuat keputusan Bagi kita. Kita mempercayai sistem yang merekomendasikan pengobatan, memberikan pinjaman, atau menyaring resume… tetapi seringkali Kami tidak tahu mengapa mereka mengambil keputusan tersebut.bahkan ketika hal itu secara langsung memengaruhi hak-hak kita.

Kurangnya transparansi ini bukan hanya masalah teknis: Hal ini memiliki implikasi etis, hukum, sosial, dan bisnis.Itulah mengapa ada begitu banyak pembicaraan tentang opasitas algoritmik, kemampuan menjelaskan (XAI), dan regulasi baru seperti Undang-Undang AI Eropa, yang bertujuan untuk menertibkan bidang ini. Mari kita lihat ini dengan tenang namun detail. Apa sebenarnya yang dimaksud dengan opasitas atau "kotak hitam" dalam AI?Mengapa hal itu muncul, apa risiko yang ditimbulkannya, dan bagaimana upaya sedang dilakukan untuk membuka kotak itu tanpa kehilangan keuntungan dari teknologi.

Apa arti "kotak hitam" dan opasitas dalam AI?

Dalam konteks kecerdasan buatan, sebuah “Kotak hitam” adalah sistem yang proses internalnya tidak dapat dipahami secara jelas.Kita tahu data apa yang masuk dan apa hasil yang keluar, tetapi "jalur" perantaranya tidak dapat dipahami atau diakses oleh manusia, bahkan oleh banyak pengembang.

Fenomena ini terutama dikaitkan dengan model pembelajaran mesin yang kompleks, seperti jaringan saraf dalamyang bekerja dengan ribuan atau jutaan parameter yang tersebar di berbagai lapisan. Tidak seperti algoritma klasik yang didasarkan pada aturan transparan, di sini model belajar dari pengalaman, menyesuaikan bobot internal sehingga Tidak ada yang dapat melacak secara manual kombinasi neuron mana yang tepat yang menghasilkan respons spesifik..

Kekeruhan dapat muncul dalam dua cara yang berbeda namun saling melengkapi: di satu sisi, karena Perusahaan memutuskan untuk tidak mengungkapkan kode atau detail model tersebut. (untuk melindungi kekayaan intelektual mereka atau untuk strategi komersial semata); di sisi lain, karena Kompleksitas matematis dan statistik yang melekat membuat interpretasi intuitif oleh manusia hampir tidak mungkin.meskipun kode tersebut bersifat open source.

Dalam kasus kedua ini, kita biasanya berbicara tentang “kotak hitam organik“Bahkan para pencipta sistem pun tidak dapat secara akurat menjelaskan pola internal apa yang telah dipelajari AI atau bagaimana AI menggabungkannya dalam setiap pengambilan keputusan. Dengan model pembelajaran mendalam, ini adalah hal yang normal, bukan pengecualian.”

Saat berurusan dengan sistem-sistem ini, kita hanya dapat mengamati panggilan-panggilan tersebut dengan jelas. Lapisan yang terlihat: lapisan masukan dan lapisan keluaran.Kita melihat data yang dimasukkan (gambar, teks, variabel numerik) dan prediksi atau klasifikasi yang dihasilkan (disetujui/ditolak, diagnosis, rekomendasi…). Tetapi apa yang terjadi dalam banyak hal? lapisan perantara tersembunyi Hal itu, sampai batas tertentu, masih berada di luar jangkauan pemahaman kita.

Cara kerja model kotak hitam: jaringan saraf dan pembelajaran mendalam

Untuk memahami dari mana ketidakjelasan ini berasal, ada baiknya untuk meninjau kembali, meskipun hanya secara garis besar, Bagaimana struktur model pembelajaran mendalam?Alih-alih menggunakan satu rumus sederhana, sistem ini terdiri dari jaringan saraf dengan banyak lapisan (kadang-kadang ratusan) dan sejumlah besar neuron di setiap lapisannya.

Setiap neuron pada dasarnya Sebuah blok kode kecil yang menerima input, menerapkan transformasi matematika, dan menghasilkan output.Proses pembelajaran melibatkan penyesuaian, melalui jutaan contoh, bobot dan ambang batas dari semua neuron ini sehingga sistem meminimalkan kesalahan prediksi. Masalahnya adalah, setelah dilatih, hasilnya adalah jaringan parameter raksasa yang Hal ini tidak sesuai dengan konsep-konsep manusia yang jelas dan terpisah..

Jenis jaringan ini dapat menyerap data. sejumlah besar data mentah (gambar, audio, teks bebas, data sensor) dan mendeteksi pola dengan kompleksitas yang sangat besar: hubungan nonlinier, kombinasi fitur yang sangat halus, korelasi yang menentang intuisi kita. Berkat ini, mereka mampu untuk menerjemahkan bahasa, menghasilkan gambar, menulis teks yang koheren, atau menganalisis sinar-X secara akurat sebanding dengan kemampuan para spesialis.

Namun kekuatan itu datang dengan harga yang mahal: representasi internal yang mereka ciptakan (misalnya, yang terkenal penyematan vektor) adalah struktur numerik berdimensi tinggi yang Mereka tidak selaras secara langsung dengan kategori manusia yang sederhana.Kita dapat menduga bahwa vektor-vektor tertentu mengelompokkan makna yang serupa atau bahwa neuron-neuron tertentu merespons pola-pola spesifik, tetapi peta lengkapnya praktis tidak dapat dikelola.

Bahkan ketika modelnya bersifat open source dan kita dapat melihat semua baris pemrogramannya, Itu tidak berarti kita bisa menjelaskan setiap prediksi secara detail.Kita dapat melacak bagaimana data mengalir antar lapisan dan operasi apa yang diterapkan, tetapi tidak mungkin untuk menjelaskan mengapa kombinasi spesifik dari jutaan parameter menghasilkan "disetujui" untuk satu orang dan "ditolak" untuk orang lain.

Singkatnya, Kotak hitam itu bukan semata-mata karena kerahasiaan perusahaan.Hal ini juga merupakan konsekuensi dari memilih arsitektur yang sangat kompleks yang mengoptimalkan akurasi, tetapi mengorbankan interpretasi.

Ketidakjelasan, bias, dan diskriminasi: ketika kotak hitam menyebabkan kerugian

Kurangnya transparansi bukan hanya kekurangan teoritis. Ketidaktransparansian algoritma dapat menyebabkan keputusan yang tidak adil, diskriminatif, atau bahkan salah.tanpa adanya cara yang jelas untuk mendeteksi masalah atau memperbaikinya tepat waktu.

Salah satu contoh yang sering dikutip adalah proyek tersebut. Nuansa Genderoleh Joy Buolamwini dan Timnit Gebru, yang menganalisis berbagai sistem pengenalan wajah komersial. Studi tersebut menunjukkan bahwa Tingkat kesalahan jauh lebih tinggi ketika mengidentifikasi wanita berkulit gelap. bahwa ketika mengidentifikasi pria berkulit terang: dalam beberapa kasus, kesalahan lebih dari 34% dibandingkan dengan kurang dari 1% untuk kelompok yang mendapat perawatan terbaik.

Berdasarkan hasil keseluruhan, sistem-sistem ini tampaknya bekerja dengan baik. Namun Uraikan kesalahan berdasarkan jenis kelamin dan warna kulit. Ketidaksetaraan yang sangat mengkhawatirkan terungkap. Itulah salah satu jebakan dari model kotak hitam: Cacat serius bisa tersembunyi di balik hal-hal biasa. dan tidak akan terdeteksi jika tidak ada yang mengamati hasilnya dengan cermat.

Jenis bias ini biasanya tidak disengaja. AI belajar dari data yang kita berikan, dan jika data tersebut mencerminkan ketidaksetaraan historis atau kurang mewakili kelompok tertentu, Model tersebut mereproduksi dan memperkuat ketidakadilan ini tanpa ada yang secara eksplisit "memerintahkannya" untuk melakukan hal tersebut.Dan karena sifatnya yang buram, mendeteksi variabel atau kombinasi mana yang menghasilkan diskriminasi menjadi tugas yang sangat kompleks.

Kekaburan juga mempersulitnya. identifikasi kesalahan atau kerentanan sistematisJika kita tidak mengetahui bagaimana model tersebut "bernalar," akan lebih sulit untuk memprediksi jenis input apa yang mungkin menyebabkannya "berhalusinasi" (menghasilkan respons palsu tetapi meyakinkan) atau jatuh ke dalam perangkap yang dirancang untuk memanipulasinya.

Semua ini memiliki satu konsekuensi yang jelas: Kepercayaan di antara pengguna, pelanggan, dan pihak berwenang terkikis.Jika seseorang mengalami keputusan negatif berdasarkan AI dan tidak ada yang dapat menjelaskan secara jelas faktor apa saja yang dipertimbangkan, wajar jika timbul keraguan tentang keadilan dan legitimasi sistem tersebut.

Dampak etika, hukum, dan tanggung jawab

Dari sudut pandang hukum, kotak hitam tersebut menimbulkan masalah serius: Hal ini mempersulit pembuktian hubungan sebab-akibat antara sistem AI dan kerusakan yang diderita.Untuk menetapkan tanggung jawab perdata, biasanya diperlukan kombinasi antara kerugian, perilaku yang bersalah atau cacat, dan hubungan sebab akibat. Ketika keputusan didasarkan pada model yang tidak transparan, elemen ketiga ini menjadi tidak stabil.

Di dunia analog, membahas pemecatan, penolakan kredit, atau penyaringan akses dilakukan dengan meninjau dokumen, kriteria, saksi, dan motivasi yang jelasDengan model AI, lapisan inferensi yang sulit direkonstruksi disisipkan antara data masukan dan keputusan akhir, yang sering kali dikelola oleh serangkaian aktor (penyedia model, integrator, perusahaan pengguna, pihak ketiga yang menyediakan data) yang mengaburkan siapa yang mengendalikan apa.

Selain itu, ada insentif yang jelas untuk tetap menutup kasir: Operator tersebut dapat bersembunyi di balik kerahasiaan dagang atau kerumitan teknis. untuk menghindari pengungkapan informasi relevan dalam proses litigasi. Jika korban tidak dapat mengakses catatan, dokumentasi teknis, atau jejak keputusan, membuktikan bahwa kerugian tersebut disebabkan oleh sistem AI menjadi hampir mustahil.

Tanggapan dari badan legislatif Eropa sangat tegas: jika penjelasan lengkap tidak memungkinkan, Beban ujian secara keseluruhan tidak dapat dibebankan pada bagian yang paling lemah.Dengan demikian, kita melihat peraturan baru yang mewajibkan penyimpanan log, dokumentasi cara kerja sistem, otorisasi audit, dan, pada tingkat prosedural, membuka pintu bagi penyajian bukti dan asumsi yang menguntungkan pihak yang dirugikan. ketika operator tidak kooperatif.

Mari kita pertimbangkan, misalnya, sebuah perusahaan yang menggunakan alat AI di bidang sumber daya manusia untuk menampilkan resume, menilai kinerja, atau merekomendasikan promosiSecara formal, keputusan akhir berada di tangan seseorang, tetapi dalam praktiknya, keputusan tersebut sangat bergantung pada laporan yang dihasilkan oleh AI. Jika seorang pekerja ditolak atau diberhentikan dan tidak diberi akses ke Data apa yang digunakan, berapa bobotnya, dan pola apa yang terdeteksi? Dokumentasi teknis apa pun tidak mendukung sistem tersebut; kotak hitam itu tidak hanya memutuskan: ia juga mencegah upaya untuk menantang keputusan tersebut secara efektif..

AI yang dapat dijelaskan dan interpretasi: mencoba membuka kotak

Untuk mengurangi masalah-masalah ini, bidang Kecerdasan Buatan yang Dapat Dijelaskan atau XAI (Explainable Artificial Intelligence)Tujuannya bukanlah untuk "menerjemahkan" baris demi baris apa yang dilakukan algoritma, tetapi untuk memberikan penjelasan yang berguna, mudah dipahami, dan dapat ditindaklanjuti tentang mengapa model tersebut membuat keputusan tertentu.

Ada dua pendekatan utama. Di satu sisi, ada model yang secara intrinsik dapat diinterpretasikan atau model kotak putihAlgoritma sederhana seperti regresi linier, pohon keputusan dangkal, atau aturan logika secara jelas menunjukkan variabel mana yang disertakan, aturan mana yang diterapkan, dan bagaimana hasilnya diperoleh. Model-model jenis ini mempermudah audit dan ketertelusuran, meskipun terkadang mengorbankan sebagian akurasi.

Di sisi lain, kita punya model kompleks (kotak hitam) yang diterapkan teknik penjelasan a posterioriDi sinilah alat-alat seperti LIME, SHAP, peta salience, atau Grad-CAM berperan, yang memungkinkan kita untuk memperkirakan fitur mana yang memiliki bobot paling besar dalam prediksi tertentu, atau untuk memvisualisasikan area mana dalam gambar yang menentukan diagnosis.

Sebagai contoh, teknik tipe SHAP telah digunakan dalam lingkungan medis untuk menganalisis model pencitraan diagnostik dan menemukan bahwa, dalam beberapa kasus, sistem tersebut terlalu memperhatikan tanda atau anotasi pada sinar-X daripada pola klinis yang relevan. Mendeteksi penyimpangan ini memungkinkan koreksi pada model dan pengurangan risiko.

Selain itu, kemampuan menjelaskan memiliki dimensi manusia yang penting: Penjelasan tidak akan banyak gunanya jika orang yang menerimanya tidak memahaminya.Seorang dokter tidak memiliki kebutuhan yang sama dengan seorang insinyur data, seorang hakim tidak memiliki kebutuhan yang sama dengan seorang pasien atau nasabah bank. Itulah mengapa kami bekerja secara multidisiplin, menggabungkan teknologi dengan psikologi kognitif dan desain antarmuka untuk menyesuaikan penjelasan dengan profil orang yang menerimanya.

Kotak hitam vs kotak putih vs AI yang dapat dijelaskan: apa perbedaannya?

Istilah “kotak putih”, “kotak hitam”, dan “AI yang dapat dijelaskan” sering digunakan secara bergantian, tetapi mereka tidak persis samaPenting untuk mengklarifikasi istilah-istilah karena kebingungan ini menimbulkan kesalahpahaman yang signifikan.

Un model kotak putih adalah dia yang Cara kerja internalnya transparan dan mudah dipahami.Sangat mudah untuk melihat variabel mana yang terlibat, bagaimana variabel tersebut digabungkan, aturan apa yang berlaku, dan bagaimana input menjadi output. Contoh tipikalnya adalah: regresi linier yang terdefinisi dengan baik atau pohon keputusan sederhanaModel-model ini dapat diinterpretasikan sendiri: strukturnya sendiri sudah berfungsi sebagai penjelasan.

Un model kotak hitamDi sisi lain, ini adalah salah satu yang logika internalnya tidak mudah dipahami. Ini termasuk jaringan saraf dalam, hutan acak yang sangat kompleks, penguatan tipe XGBoost dan, secara umum, sistem apa pun dengan banyak lapisan parameter yang sulit diterjemahkan ke dalam aturan manusia yang jelas.

La AI yang Dapat Dijelaskan (XAI) Ini adalah istilah yang lebih luas yang mencakup model white box dan teknik yang diterapkan pada kotak hitam untuk menghasilkan penjelasan post-hocSuatu model yang sangat kompleks dapat dianggap "dapat dijelaskan" jika disertai dengan alat-alat yang memungkinkan, misalnya, untuk menguraikan pentingnya variabel, memvisualisasikan poin-poin penting, atau menghasilkan contoh-contoh kontras ("jika gaji Anda X dan senioritas Anda Y, hasilnya akan berubah").

Dalam praktiknya, banyak organisasi menggabungkan kedua pendekatan tersebut: Mereka menggunakan model sederhana ketika transparansi lebih penting daripada ketelitian. (kasus yang sangat diatur) dan menggunakan model yang lebih canggih disertai dengan XAI ketika mereka perlu memaksimalkan kapasitas prediksi, tetapi tanpa sepenuhnya mengabaikan interpretasi.

Regulasi Eropa: Undang-Undang AI, GDPR, dan tanggung jawab produk

Uni Eropa telah memutuskan untuk mengatasi ketidaktransparansian algoritma dari beberapa sudut pandang. Di satu sisi, Peraturan Perlindungan Data Umum (RGPD) Peraturan tersebut telah memberlakukan kewajiban tertentu ketika keputusan otomatis dibuat berdasarkan data pribadi, yang mengharuskan informasi "bermakna" tentang logika yang digunakan diberikan dengan cara yang mudah dipahami oleh pihak yang terkena dampak.

Ditambah dengan hal ini adalah Undang-Undang AI atau Peraturan Kecerdasan Buatan Eropa, yang berlaku sejak Agustus 2024, yang menetapkan kerangka kerja khusus untuk pengembangan dan penerapan sistem AI di Uni Eropa. Peraturan tersebut mengklasifikasikan sistem berdasarkan tingkat risiko, secara langsung melarang praktik-praktik yang dianggap "berisiko tidak dapat diterima" (seperti sistem penilaian sosial ala kredit sosial massal atau teknik manipulasi perilaku ekstrem tertentu).

Sistem dari risiko tinggi (misalnya, beberapa penggunaan di bidang kesehatan, keuangan, sumber daya manusia, pendidikan, atau pasukan keamanan) tunduk pada kewajiban yang ketat: mereka harus memiliki Dokumentasi teknis yang detail, pencatatan otomatis (logging) yang memungkinkan penelusuran, informasi yang jelas dan mudah dipahami bagi pengguna. dan mekanisme pengawasan manusia yang efektif.

Selain itu, Undang-Undang AI memberlakukan kewajiban transparansi Dalam skenario seperti penggunaan chatbot atau generator konten, perlu untuk memperingatkan pengguna ketika mereka berinteraksi dengan AI dan, dalam kasus tertentu, untuk memberi label pada konten yang dihasilkan secara otomatis. Banyak dari kewajiban ini akan diimplementasikan secara bertahap selama beberapa tahun mendatang, dimulai dengan kasus-kasus yang paling berdampak.

Sementara itu, yang baru Direktif (UE) 2024/2853 tentang tanggung jawab atas produk cacat Direktif ini memperbarui kerangka tanggung jawab perdata untuk menyesuaikannya dengan lingkungan di mana produk juga dapat berupa perangkat lunak dan di mana kegagalan dapat berasal dari fungsi digital. Direktif ini secara tegas mengakui hal tersebut. kompleksitas teknis dan ilmiah sistem AI dan memungkinkan hakim untuk meminta penyajian bukti yang relevan, termasuk bukti digital, dengan cara yang mudah diakses dan dipahami.

Jika operator gagal bekerja sama atau melanggar kewajiban keselamatan, hal-hal berikut dapat terjadi: asumsi tentang kecacatan dan kausalitasDengan kata lain, jika pihak yang dirugikan memberikan bukti yang masuk akal dan terdakwa tidak memberikan catatan atau dokumentasi yang diminta oleh pengadilan, hukum akan mengimbangi ketidakseimbangan bukti tersebut dengan memihak kepada korban.

Seluruh paket peraturan ini mengirimkan pesan yang jelas: Siapa pun yang memperkenalkan kompleksitas algoritmik ke pasar harus memikul tanggung jawab untuk membuatnya dapat diaudit.Kotak hitam tersebut перестает menjadi keuntungan defensif dan berubah menjadi risiko kepatuhan dan reputasi.

Transparansi, model terbuka, dan tantangan yang masih ada.

Salah satu cara untuk mengurangi opasitas adalah dengan berinvestasi pada model sumber terbuka dan praktik dokumentasi komprehensifSistem terbuka memungkinkan para peneliti, regulator, dan komunitas teknis untuk memeriksa kode, mereplikasi eksperimen, dan mendeteksi potensi bias atau kerentanan.

Namun, bahkan dengan perangkat lunak sumber terbuka, kita masih memiliki masalah mendasar: interpretasi parameter dan representasi internalTransparansi akses tidak secara otomatis menyiratkan transparansi pemahaman. Itulah mengapa ada begitu banyak penekanan pada penggabungan keterbukaan dengan teknik akses terbuka serta proses tata kelola dan audit yang jelas.

Pihak berwenang dan para ahli menekankan pentingnya Mempromosikan budaya transparansi dan akuntabilitas.Mencatat secara detail pelatihan dan penggunaan, mendokumentasikan perubahan model, menetapkan protokol pengawasan manusia, dan merancang antarmuka yang menjelaskan kemampuan, keterbatasan, dan risiko sistem kepada pengguna.

Pekerjaan juga sedang dilakukan pada teknik interpretasi baru, seperti autoencoder sparse dan metode lain yang berupaya mengekstrak faktor laten yang "lebih bersih" dan lebih mudah dibaca dari model yang sangat kompleks. Idenya adalah untuk secara bertahap mendekati semacam "kotak kaca," di mana kompleksitas internal tetap ada, tetapi dengan lapisan penjelasan yang lebih kuat.

Namun, para ahli mengakui bahwa Kami tidak akan membuat semua model sepenuhnya transparan.Tantangan sebenarnya adalah menyeimbangkan akurasi, efisiensi, dan kemudahan penjelasan, dengan fokus pada upaya agar sistem yang membuat keputusan berdampak besar pada hak-hak fundamental menjadi sangat mudah dipahami.

Pada akhirnya, bekerja dengan AI saat ini membutuhkan asumsi bahwa Hubungan tersebut harus bersifat kolaboratif, bukan buta.Mesin menyediakan daya komputasi dan kemampuan deteksi pola, tetapi manusia harus terus menetapkan standar etika, memvalidasi hasil penting, dan menuntut penjelasan yang masuk akal ketika ada sesuatu yang tidak sesuai.

Dalam konteks ini, apa yang disebut "ketidaktransparan" atau efek kotak hitam AI bukan hanya masalah teknis tetapi juga sebuah titik gesekan utama antara inovasi dan regulasi serta kepercayaan sosialSeiring kemajuan legislasi Eropa, teknik AI, dan praktik tata kelola yang baik, kotak hitam tersebut перестает menjadi misteri yang tidak dapat dipecahkan dan mulai dipandang lebih sebagai sebuah sistem yang, meskipun kompleks, dapat dan harus cukup diterangi sehingga warga negara, perusahaan, dan pengadilan dapat mempercayai keputusannya.