מהי אטימות או קופסה שחורה בבינה מלאכותית ולמה זה חשוב?

La מה שנקרא "קופסה שחורה" של בינה מלאכותית זה הפך לאחד הנושאים הכי שנויים במחלוקת בכל פעם שאנחנו מדברים על זה אלגוריתמים שמקבלים החלטות עבורנו. אנחנו מסתמכים על מערכות שממליצות על תרופות, מעניקות הלוואות או מסננות קורות חיים... אבל לעתים קרובות אין לנו מושג למה הם מגיעים להחלטות האלהאפילו לא כשהם משפיעים ישירות על זכויותינו.

חוסר השקיפות הזה אינו רק בעיה טכנית: יש לכך השלכות אתיות, משפטיות, חברתיות ועסקיות.זו הסיבה שיש כל כך הרבה דיבורים על אטימות אלגוריתמית, הסברה (XAI), ותקנות חדשות כמו חוק הבינה המלאכותית האירופי, שמטרתן בדיוק להביא סדר לתחום הזה. בואו נבחן את זה ברוגע אך בפירוט. מהי בדיוק אטימות או "קופסה שחורה" בבינה מלאכותית?מדוע היא מופיעה, אילו סיכונים היא כרוכה בהם, וכיצד נעשים ניסיונות לפתוח את הקופסה הזו מבלי לאבד את יתרונות הטכנולוגיה.

מה המשמעות של "קופסה שחורה" ואטימות בבינה מלאכותית?

בהקשר של בינה מלאכותית, א "קופסה שחורה" היא מערכת שהתהליכים הפנימיים שלה לא ניתנים להבנה ברורהאנחנו יודעים אילו נתונים נכנסים ומה התוצאה יוצאת, אבל "הנתיב" הביניים אינו מובן או בלתי נגיש לבני אדם, אפילו למפתחים רבים.

תופעה זו קשורה בעיקר ל מודלים מורכבים של למידת מכונה, כגון רשתות עצביות עמוקותאשר עובדים עם אלפי או מיליוני פרמטרים המפוזרים על פני שכבות רבות. בניגוד לאלגוריתם קלאסי המבוסס על כללים שקופים, כאן המודל לומד מניסיון, ומתאים משקלים פנימיים כך ש אף אחד לא יכול לעקוב ידנית אחר איזה שילוב מדויק של נוירונים הוביל לתגובה ספציפית..

אטימות יכולה להיווצר בשתי דרכים שונות אך משלימות: מצד אחד, מכיוון החברה מחליטה לא לחשוף את הקוד או את פרטי המודל. (כדי להגן על הקניין הרוחני שלהם או למטרות אסטרטגיה מסחרית גרידא); מצד שני, מכיוון המורכבות המתמטית והסטטיסטית הטבועה בכך הופכת פרשנות אנושית אינטואיטיבית כמעט לבלתי אפשרית.למרות שהקוד הוא קוד פתוח.

במקרה השני, אנחנו בדרך כלל מדברים על "קופסאות שחורות אורגניות"אפילו יוצרי המערכת אינם יכולים לתאר במדויק אילו דפוסים פנימיים למדה הבינה המלאכותית או כיצד היא משלבת אותם בכל החלטה. עם מודלים של למידה עמוקה, זוהי הנורמה, לא היוצא מן הכלל."

כאשר אנו מתמודדים עם מערכות אלו, אנו יכולים רק לצפות בבירור בקריאות שכבות גלויות: שכבת הקלט ושכבת הפלטאנו רואים את הנתונים המוזנים (תמונות, טקסט, משתנים מספריים) ואת התחזיות או הסיווגים שיוצאים (אושר/נדחה, אבחון, המלצה...). אבל מה קורה במספר שכבות ביניים נסתרות זה נותר, במידה רבה, מעבר להישג ידנו.

כיצד פועלים מודלים של קופסה שחורה: רשתות עצביות ולמידה עמוקה

כדי להבין מהיכן נובעת אטימות זו, כדאי לסקור, גם אם רק בקוים כלליים, כיצד בנויים מודלים של למידה עמוקה?במקום נוסחה פשוטה אחת, מערכות אלו מורכבות מרשתות נוירונים עם שכבות רבות (לפעמים מאות) ומספר רב של נוירונים בכל שכבה.

כל נוירון הוא בעצם בלוק קוד קטן שמקבל קלט, מיישם טרנספורמציה מתמטית ומייצר פלטתהליך הלמידה כרוך בהתאמה, באמצעות מיליוני דוגמאות, של המשקלים והספים של כל הנוירונים הללו, כך שהמערכת תמזער שגיאות חיזוי. הבעיה היא שאחרי האימון, התוצאה היא רשת ענקית של פרמטרים ש... זה לא תואם מושגים אנושיים ברורים ונפרדים.

רשת מסוג זה יכולה לקלוט כמויות גדולות של נתונים גולמיים (תמונות, אודיו, טקסט חופשי, נתוני חיישנים) ולזהות דפוסים בעלי מורכבות עצומה: קשרים לא ליניאריים, שילובים של מאפיינים עדינים מאוד, קורלציות שמאתגרות את האינטואיציה שלנו. הודות לכך, הם מסוגלים לתרגם שפות, ליצור תמונות, לכתוב טקסטים קוהרנטיים או לנתח במדויק צילומי רנטגן בהשוואה לאלו של מומחים.

אבל לכוח הזה יש מחיר: הייצוגים הפנימיים שהם יוצרים (לדוגמה, המפורסם הטמעות וקטוריות) הם מבנים מספריים בעלי מימדים גבוהים אשר הם לא מתיישבים ישירות עם קטגוריות אנושיות פשוטותאנו יכולים לנחש שוקטורים מסוימים מקבצים משמעויות דומות או שנוירונים מסוימים מגיבים לדפוסים ספציפיים, אך המפה המלאה כמעט בלתי ניתנת לניהול.

אפילו כאשר המודל הוא בקוד פתוח ואנחנו יכולים לראות את כל קווי התכנות, זה לא אומר שאנחנו יכולים להסביר כל תחזית בפירוט.ניתן לעקוב אחר אופן זרימת הנתונים בין שכבות ואילו פעולות מיושמות, אך לא ניתן להסביר מדוע שילוב מסוים של מיליוני פרמטרים מביא ל"אושר" עבור אדם אחד ו"נדחה" עבור אחר.

בקיצור, הקופסה השחורה אינה נובעת אך ורק מסויות תאגידיתזוהי גם תוצאה של בחירה בארכיטקטורות מורכבות ביותר שממטבות את הדיוק, אך מקריבות את יכולת הפרשנות.

אטימות, הטיה ואפליה: כאשר הקופסה השחורה גורמת נזק

חוסר השקיפות אינו רק חיסרון תיאורטי. אטימות אלגוריתמית יכולה להוביל להחלטות לא הוגנות, מפלות או שגויות לחלוטין.מבלי שתהיה דרך ברורה לאתר את הבעיה או לתקן אותה בזמן.

דוגמה שמצוטטת לעתים קרובות היא הפרויקט גוונים מגדרייםמאת ג'וי בואלמוויני וטימניט גברו, אשר ניתחו מערכות זיהוי פנים מסחריות שונות. המחקר הראה כי שיעורי השגיאות היו גבוהים בהרבה בזיהוי נשים כהות עור. שכאשר מזהים גברים בעלי עור בהיר: במקרים מסוימים, טעות של יותר מ-34% בהשוואה לפחות מ-1% בקבוצה שטופלה בצורה הטובה ביותר.

בהתבסס על התוצאות הכוללות, נראה שהמערכות הללו פעלו היטב. פרטו את השגיאות לפי מין וגוון עור אי-שוויון מדאיג מאוד נחשף. זוהי בדיוק אחת המלכודות של הקופסה השחורה: פגמים חמורים יכולים להסתתר בממוצע ולהיעלם מבלי לשים לב אם איש לא בוחן את התוצאות מקרוב.

סוג זה של הטיה הוא בדרך כלל לא מכוון. בינה מלאכותית לומדת מהנתונים שאנו מספקים לה, ואם נתונים אלה משקפים אי-שוויון היסטורי או מייצגים פחות מדי קבוצות מסוימות, המודל משכפל ומעצים את העוולות הללו מבלי שאף אחד "הורה" לו לעשות זאת במפורש.ומכיוון שהוא אטום, גילוי אילו משתנים או שילובים יוצרים אפליה הופך למשימה מורכבת מאוד.

אטימות גם מקשה על כך זיהוי שגיאות שיטתיות או פגיעויותאם איננו יודעים כיצד המודל "מסביר", קשה יותר לחזות אילו סוגי קלטים עלולים להוביל אותו ל"הזיות" (לייצור תגובות שגויות אך משכנעות) או ליפול למלכודות עוינות שנועדו לתמרן אותו.

לכל זה יש תוצאה אחת ברורה: האמון בין משתמשים, לקוחות ורשויות נשחק.אם מישהו סובל מהחלטה שלילית המבוססת על בינה מלאכותית ואף אחד לא יכול להסביר בבירור אילו גורמים נלקחו בחשבון, זה נורמלי שיתעוררו ספקות לגבי ההגינות והלגיטימיות של המערכת.

השפעה אתית, משפטית וחבותית

מבחינה משפטית, הקופסה השחורה יוצרת בעיה חמורה: זה מסבך את הוכחת הקשר הסיבתי בין מערכת הבינה המלאכותית לנזק שנגרםכדי לקבוע אחריות אזרחית, נדרש בדרך כלל שילוב של נזק, התנהגות אשם או פגומה, וקשר סיבתי. כאשר ההחלטה מבוססת על מודל אטום, אלמנט שלישי זה הופך לבלתי יציב.

בעולם האנלוגי, דיון בדחייה, דחיית אשראי או סינון גישה נעשה על ידי סקירת מסמכים, קריטריונים, עדים ומניעים מפורשיםבמודלים של בינה מלאכותית, שכבות של הסקה שקשה לשחזר ממוקמות בין נתוני הקלט להחלטה הסופית, שלעתים קרובות מנוהלות על ידי שרשרת של גורמים (ספק מודל, אינטגרטור, חברת משתמש, צדדים שלישיים המספקים נתונים) אשר... מדלל את מי ששולט במה.

יתר על כן, יש תמריץ ברור לשמור על הקופה סגורה: המפעיל יכול להסתתר מאחורי סודיות מסחרית או מורכבות טכנית כדי להימנע מחשיפת מידע רלוונטי בתביעה משפטית. אם הקורבן אינו יכול לגשת לרשומות, תיעוד טכני או עקבות החלטות, הוכחת הנזק שנגרם ממערכת בינה מלאכותית הופכת כמעט בלתי אפשרית.

התגובה של המחוקק האירופי נחרצת: אם הסבר מלא אינו אפשרי, אי אפשר להטיל את כל נטל המבחן על החלק החלש ביותר.לפיכך, אנו רואים תקנות חדשות המחייבות שמירת יומני רישום, תיעוד של אופן פעולת המערכת, אישור ביקורות, וברמה פרוצדורלית, לפתוח את הדלת להצגת ראיות וחזקות לטובת הצד הנפגע כאשר המפעיל אינו משתף פעולה.

בואו ניקח לדוגמה חברה שמשתמשת בכלי בינה מלאכותית במשאבי אנוש כדי לסנן קורות חיים, לדרג ביצועים או להמליץ ​​על קידומיםבאופן רשמי, ההחלטה הסופית נתונה בידי אדם, אך בפועל, היא מסתמכת במידה רבה על דוחות שנוצרו על ידי בינה מלאכותית. אם עובד נדחה או מפוטר ולא ניתנת לו גישה ל... אילו נתונים שימשו, איזה משקל היה להם, אילו דפוסים זוהו וגם לא איזה תיעוד טכני תומך במערכת; הקופסה השחורה לא רק מחליטה: היא גם מונע ערעור יעיל על ההחלטה.

בינה מלאכותית ניתנת להסבר ופרשנות: ניסיון לפתוח את הקופסה

כדי למתן בעיות אלו, תחום ה- בינה מלאכותית ניתנת להסבר או XAI (בינה מלאכותית ניתנת להסבר)המטרה אינה כל כך "לתרגם" שורה אחר שורה את מה שהאלגוריתם עושה, אלא לספק הסברים שימושיים, מובנים וניתנים ליישום מדוע המודל קיבל החלטה מסוימת.

ישנן שתי גישות עיקריות. מצד אחד, ישנן מודלים הניתנים לפירוש מהותי או מודלים של קופסה לבנהאלגוריתמים פשוטים כמו רגרסיות לינאריות, עצי החלטה רדודים או כללים לוגיים מראים בבירור אילו משתנים כלולים, אילו כללים מיושמים וכיצד מגיעים לתוצאה. מודלים מסוג זה מאפשרים ביקורת ומעקב, אם כי לעיתים הם מקריבים דיוק מסוים.

מצד שני, יש לנו את מודלים מורכבים (קופסה שחורה) שעליהם מיושמות טכניקות הסבר א-פוסטריוריכאן נכנסים לתמונה כלים כמו LIME, SHAP, מפות בולטות או Grad-CAM, המאפשרים לנו להעריך אילו מאפיינים קיבלו את המשקל הרב ביותר בתחזית ספציפית, או לדמיין אילו אזורים בתמונה היו מכריעים לאבחון.

לדוגמה, במסגרות רפואיות, נעשה שימוש בטכניקות מסוג SHAP כדי לנתח מודלים של הדמיה אבחנתית וגילוי שבמקרים מסוימים, המערכת הקדישה תשומת לב רבה מדי לסימונים או הערות בצילום הרנטגן במקום לדפוסים קליניים רלוונטיים. זיהוי סטיות אלו מאפשר תיקונים במודל והפחתת סיכונים.

יתר על כן, להסבר יש ממד אנושי מרכזי: הסבר לא מועיל כלל אם האדם שמקבל אותו לא מבין אותו.לרופא אין את אותם הצרכים כמו למהנדס נתונים, לשופט אין את אותם הצרכים כמו לחולה או ללקוח בנק. לכן אנו עובדים בצורה רב-תחומית, ומשלבים טכנולוגיה עם פסיכולוגיה קוגניטיבית ועיצוב ממשקים כדי להתאים את ההסבר לפרופיל של האדם המקבל אותו.

קופסה שחורה לעומת קופסה לבנה לעומת בינה מלאכותית מוסברת: במה הם שונים?

"קופסה לבנה", "קופסה שחורה" ו"בינה מלאכותית מוסברת" משמשים לעתים קרובות לסירוגין, אך הם לא בדיוק אותו הדברחשוב להבהיר את המונחים משום שבלבול זה יוצר אי הבנות משמעותיות.

Un דגם קופסה לבנה האם הוא של מי הפעילות הפנימית שקופה ומובנהקל לראות אילו משתנים מעורבים, כיצד הם משתלבים, אילו כללים חלים וכיצד הקלט הופך לפלט. דוגמאות אופייניות הן: רגרסיות לינאריות מוגדרות היטב או עצי החלטה פשוטיםמודלים אלה ניתנים לפרשנות עצמית: המבנה שלהם כבר משמש כהסבר.

Un מודל הקופסה השחורהמצד שני, זהו מקרה שלא ניתן לעקוב בקלות אחר ההיגיון הפנימי שלו. זה יכלול רשתות עצביות עמוקות, יערות אקראיים מורכבים ביותר, הגברה מסוג XGBoost ובכלל, כל מערכת עם שכבות מרובות של פרמטרים שקשה לתרגם לכללים אנושיים ברורים.

La AI ניתן להסבר (XAI) זוהי מטריה רחבה יותר הכוללת גם דגמי קופסה לבנה וגם טכניקות המיושמות על קופסאות שחורות כדי לייצר הסברים פוסט-הוקמודל מורכב מאוד יכול להיחשב "ניתן להסבר" אם הוא מלווה בכלים המאפשרים, למשל, פירוט חשיבותם של משתנים, ויזואליזציה של נקודות בולטות או יצירת דוגמאות מנוגדות ("אם המשכורת שלך הייתה X והוותק שלך Y, התוצאה הייתה משתנה").

בפועל, ארגונים רבים משלבים את שתי הגישות: הם משתמשים במודלים פשוטים כאשר שקיפות גוברת על דיוק (מקרים מוסדרים מאוד) ולפנות למודלים חזקים יותר מלווים ב-XAI כאשר הם צריכים למקסם את יכולת החיזוי, אך מבלי לזנוח לחלוטין את הפרשנות.

רגולציה אירופאית: חוק הבינה המלאכותית, GDPR ואחריות מוצר

האיחוד האירופי החליט לטפל באטימות אלגוריתמית מכמה זוויות. מצד אחד, ה... התקנה הכללית להגנת נתונים (RGPD) היא כבר מטיל חובות מסוימות כאשר מתקבלות החלטות אוטומטיות על סמך נתונים אישיים, ודורשת לספק מידע "משמעותי" על הלוגיקה שבה נעשה שימוש באופן שיהיה מובן לצד המושפע.

נוסף לכך הוא ה- חוק הבינה המלאכותית או תקנה אירופאית לבינה מלאכותית, בתוקף מאז אוגוסט 2024, אשר קובעת מסגרת ספציפית לפיתוח ופריסה של מערכות בינה מלאכותית באיחוד האירופי. התקנה מסווג את המערכות לפי רמות סיכון, האוסרת ישירות על כאלה המהוות "סיכון בלתי מתקבל על הדעת" (כגון ניקוד חברתי בסגנון של אשראי חברתי המוני או טכניקות מניפולציה התנהגותיות קיצוניות מסוימות).

המערכות של סיכון גבוה (לדוגמה, שימושים מסוימים בתחומי הבריאות, הפיננסים, משאבי אנוש, החינוך או כוחות הביטחון) כפופים לחובות מחמירות: עליהם להיות בעלי תיעוד טכני מפורט, רישומים אוטומטיים (רישום) המאפשרים מעקב, מידע ברור ומובן למשתמשים ומנגנוני פיקוח אנושיים יעילים.

יתר על כן, חוק הבינה המלאכותית מטיל חובות שקיפות בתרחישים כמו שימוש בצ'אטבוטים או ביוצרי תוכן, יש צורך להזהיר משתמשים כאשר הם מקיימים אינטראקציה עם בינה מלאכותית, ובמקרים מסוימים, לתייג את התוכן שנוצר אוטומטית. רבות מההתחייבויות הללו ייושמו בהדרגה במהלך השנים הקרובות, החל מהמקרים בעלי ההשפעה הגדולה ביותר.

בינתיים, החדש הנחיית (EU) 2024/2853 בנושא אחריות למוצרים פגומים היא מעדכנת את מסגרת האחריות האזרחית כדי להתאימה לסביבה שבה מוצרים יכולים להיות גם תוכנה ושבה כשלים יכולים לנבוע מפונקציות דיגיטליות. ההנחיה מכירה במפורש ב... מורכבות טכנית ומדעית של מערכות בינה מלאכותית ומאפשר לשופטים לדרוש הצגת ראיות רלוונטיות, כולל ראיות דיגיטליות, באופן נגיש ומובן.

אם מפעיל לא משתף פעולה או מפר את חובות הבטיחות, עשויים להיכנס לתמונה הגורמים הבאים: חזקות של פגם וסיבתיותבמילים אחרות, אם הצד הנפגע מספק ראיות סבירות והנתבע אינו מספק את התיעוד או הרשומות שבית המשפט ביקש, החוק מפצה על חוסר האיזון בראיות על ידי הטיית הכף לטובת הקורבן.

כל חבילת הרגולציה הזו שולחת מסר ברור: כל מי שמכניס מורכבות אלגוריתמית לשוק חייב לקחת על עצמו את החובה להפוך אותה לניתנת לביקורת.הקופסה השחורה מפסיקה להיות יתרון הגנתי והופכת לסיכון ציות ותדמית.

שקיפות, מודלים פתוחים ואתגרים עתידיים

דרך אחת להפחית את העמימות היא להשקיע ב מודלים בקוד פתוח ושיטות תיעוד מקיפותמערכות פתוחות מאפשרות לחוקרים, רגולטורים וקהילה טכנית לבחון את הקוד, לשכפל ניסויים ולזהות הטיות או פגיעויות פוטנציאליות.

עם זאת, אפילו עם קוד פתוח, עדיין יש לנו את הבעיה הבסיסית: הפרשנות של הפרמטרים והייצוגים הפנימייםשקיפות גישה אינה מרמזת בהכרח על שקיפות הבנה. זו הסיבה שיש דגש כה רב על שילוב של פתיחות עם טכניקות גישה פתוחה ותהליכי ממשל וביקורת ברורים.

רשויות ומומחים מדגישים את חשיבותו של לקדם תרבות של שקיפות ואחריותשמור רישומי הדרכה ושימוש מפורטים, תיעד שינויים במודל, הגדרת פרוטוקולי פיקוח אנושי ותכנן ממשקים המסבירים את יכולות המערכת, מגבלותיה וסיכוניה למשתמש.

נעשית עבודה גם על טכניקות פרשנות חדשות, כגון אוטו-אנקודרים דלילים ושיטות אחרות המבקשות לחלץ גורמים סמויים "נקיים" וקריא יותר ממודלים מורכבים מאוד. הרעיון הוא להתקרב בהדרגה למעין "קופסת זכוכית", שבה המורכבות הפנימית נשארת, אך עם שכבות הסבר חזקות יותר.

עם זאת, מומחים מודים כי אנחנו לא הולכים להפוך את כל המודלים לשקופים לחלוטין.האתגר האמיתי הוא לאזן בין דיוק, יעילות והסבר, תוך התמקדות בהפיכתן של מערכות המקבלות החלטות בעלות השפעה רבה על זכויות יסוד למובנות במיוחד.

בסופו של דבר, עבודה עם בינה מלאכותית כיום דורשת הנחה ש הקשר צריך להיות שיתופי, לא עיוור.מכונות מספקות כוח מחשוב ויכולות זיהוי תבניות, אך בני אדם חייבים להמשיך לקבוע סטנדרטים אתיים, לאמת תוצאות קריטיות ולדרוש הסברים סבירים כאשר משהו לא מסתדר.

בהקשר זה, מה שמכונה "אטימות" או אפקט הקופסה השחורה של בינה מלאכותית אינו רק בעיה טכנית אלא... נקודת חיכוך מרכזית בין חדשנות ורגולציה לבין אמון חברתיככל שהחקיקה האירופית, טכניקות הבינה המלאכותית ונהלי ממשל תקינים מתקדמים, הקופסה השחורה מפסיקה להיות תעלומה בלתי מושגת ומתחילה להיתפס יותר כמערכת שלמרות שהיא מורכבת, ניתן וצריך להאיר אותה מספיק כדי שאזרחים, חברות ובתי משפט יוכלו לסמוך על החלטותיה.