인공지능에서 불투명성 또는 블랙박스란 무엇이며, 왜 중요한가요?

La 인공지능의 소위 "블랙박스" 우리가 이 주제에 대해 이야기할 때마다 가장 논란이 되는 주제 중 하나가 되었습니다. 결정을 내리는 알고리즘 우리에게는 그렇습니다. 우리는 약을 추천하고, 대출을 승인하고, 이력서를 필터링하는 시스템에 의존하지만… 종종… 우리는 그들이 왜 그런 결정을 내리는지 전혀 알지 못한다.우리의 권리에 직접적인 영향을 미치는 경우에도 마찬가지입니다.

이러한 투명성 부족은 단순히 기술적인 문제만이 아닙니다. 이는 윤리적, 법적, 사회적, 사업적 측면에서 여러 가지 함의를 지닙니다.그래서 알고리즘 불투명성, 설명 가능성(XAI), 그리고 바로 이 분야에 질서를 부여하기 위한 유럽 AI법과 같은 새로운 규제에 대한 논의가 활발한 것입니다. 차분하지만 자세하게 살펴보겠습니다. 인공지능에서 불투명성 또는 "블랙박스"란 정확히 무엇일까요?그것이 나타나는 이유, 수반되는 위험, 그리고 기술적 이점을 잃지 않고 그 상자를 열기 위한 시도가 어떻게 이루어지고 있는지에 대해 살펴봅니다.

인공지능에서 "블랙박스"와 불투명성은 무엇을 의미하나요?

인공지능의 맥락에서, "블랙박스"란 내부 작동 과정을 명확하게 이해할 수 없는 시스템을 말합니다.우리는 어떤 데이터가 입력되고 어떤 결과가 나오는지는 알지만, 그 중간 과정은 많은 개발자를 포함한 인간에게 이해하기 어렵거나 접근하기 어렵습니다.

이 현상은 주로 다음과 관련이 있습니다. 심층 신경망과 같은 복잡한 머신러닝 모델수천 또는 수백만 개의 매개변수가 여러 계층에 걸쳐 분포된 방식으로 작동합니다. 투명한 규칙에 기반한 기존 알고리즘과 달리, 이 모델은 경험을 통해 학습하고 내부 가중치를 조정하여 최적의 결과를 도출합니다. 어떤 뉴런 조합이 특정 반응을 일으켰는지 수동으로 추적하는 것은 불가능합니다..

불투명도는 서로 다르지만 상호 보완적인 두 가지 방식으로 발생할 수 있습니다. 한편으로는, 왜냐하면 회사는 코드나 모델에 대한 세부 정보를 공개하지 않기로 결정했습니다. (지적 재산권을 보호하거나 순전히 상업적인 전략을 위해서); 반면에, 왜냐하면 본질적인 수학적, 통계적 복잡성으로 인해 직관적인 인간의 해석은 사실상 불가능합니다.코드가 오픈 소스임에도 불구하고.

두 번째 경우에는 보통 “라고 말합니다.유기적인 블랙박스"시스템 개발자조차도 AI가 어떤 내부 패턴을 학습했는지, 그리고 각 결정에서 이러한 패턴을 어떻게 조합하는지 정확하게 설명할 수 없습니다. 딥러닝 모델에서는 이것이 예외가 아니라 일반적인 현상입니다."

이러한 시스템을 다룰 때, 우리는 통화 내용만 명확하게 관찰할 수 있습니다. 보이는 레이어: 입력 레이어와 출력 레이어우리는 입력된 데이터(이미지, 텍스트, 수치 변수)와 출력되는 예측 또는 분류 결과(승인/거부, 진단, 권장 사항 등)를 볼 수 있습니다. 하지만 다중 객체 환경에서는 어떤 일이 일어날까요? 숨겨진 중간층 그것은 여전히 ​​상당 부분 우리의 이해 범위를 넘어선 영역에 남아 있습니다.

블랙박스 모델의 작동 원리: 신경망과 딥러닝

이러한 불투명성이 어디에서 비롯되는지 이해하기 위해서는, 비록 개략적인 수준일지라도, 다음과 같은 사항들을 검토하는 것이 도움이 됩니다. 딥러닝 모델은 어떤 구조로 되어 있나요?이러한 시스템은 하나의 간단한 공식 대신, 여러 층(때로는 수백 층)과 각 층에 수많은 뉴런을 가진 신경망으로 구성됩니다.

각 뉴런은 기본적으로 입력을 받아 수학적 변환을 적용하고 출력을 생성하는 작은 코드 블록학습 과정은 수백만 개의 예제를 통해 모든 뉴런의 가중치와 임계값을 조정하여 시스템의 예측 오류를 최소화하는 것을 포함합니다. 문제는 일단 학습이 완료되면 결과적으로 거대한 매개변수 네트워크가 생성된다는 것입니다. 이는 명확하고 구분된 인간의 개념과 일치하지 않습니다..

이러한 유형의 네트워크는 데이터를 수집할 수 있습니다. 대량의 원시 데이터 (이미지, 오디오, 자유 텍스트, 센서 데이터)를 분석하여 비선형 관계, 매우 미묘한 특징들의 조합, 우리의 직관을 거스르는 상관관계 등 엄청나게 복잡한 패턴을 감지할 수 있습니다. 덕분에 이들은 다음과 같은 작업을 수행할 수 있습니다. 언어를 번역하고, 이미지를 생성하고, 논리적인 글을 작성하거나, X선 사진을 정확하게 분석할 수 있습니다. 전문가와 동등한 수준입니다.

하지만 그러한 권력에는 대가가 따른다. 그들이 만들어내는 내면의 표상들(예를 들어, 유명한 것들)이 바로 그것이다. 벡터 임베딩)는 고차원 수치 구조입니다. 그것들은 단순한 인간 범주와 직접적으로 일치하지 않습니다.우리는 특정 벡터들이 유사한 의미를 그룹화하거나 특정 뉴런들이 특정 패턴에 반응한다는 것을 직관적으로 알 수 있지만, 전체적인 지도를 실제로 다루는 것은 불가능합니다.

모델이 오픈 소스이고 모든 프로그래밍 코드를 볼 수 있더라도, 그렇다고 해서 모든 예측을 자세히 설명할 수 있다는 의미는 아닙니다.계층 간 데이터 흐름과 적용되는 연산을 추적하는 것은 가능하지만, 수백만 개의 매개변수 조합이 어떤 사람에게는 "승인"으로, 다른 사람에게는 "거부"로 이어지는 이유를 합리적으로 설명하는 것은 현실적으로 불가능합니다.

요약하면, 블랙박스는 단순히 기업 기밀 유지 때문만은 아닙니다.이는 정확도를 최적화하지만 해석 가능성을 희생하는 매우 복잡한 아키텍처를 선택한 결과이기도 합니다.

불투명성, 편견, 그리고 차별: 블랙박스가 해를 끼치는 경우

투명성 부족은 단순히 이론적인 문제점에 그치는 것이 아닙니다. 알고리즘의 불투명성은 불공정하거나 차별적이거나 완전히 잘못된 결정으로 이어질 수 있습니다.문제를 감지하거나 제때 해결할 수 있는 명확한 방법이 없는 경우.

자주 인용되는 예는 프로젝트입니다. 성별 가리개조이 부올라미니와 팀닛 게브루가 다양한 상용 얼굴 인식 시스템을 분석한 연구입니다. 이 연구는 다음과 같은 결과를 보여주었습니다. 피부색이 어두운 여성을 식별할 때 오류율이 훨씬 더 높았습니다. 피부색이 밝은 남성을 식별할 때, 어떤 경우에는 가장 효과적인 치료를 받은 그룹의 1% 미만의 오류율에 비해 34% 이상의 오류율이 나타났습니다.

전반적인 결과를 보면 이러한 시스템들은 잘 작동하는 것처럼 보였습니다. 하지만 오류를 성별과 피부색별로 분류하세요 매우 우려스러운 불평등이 드러났습니다. 바로 이것이 블랙박스의 함정 중 하나입니다. 평범한 모습 속에는 심각한 결점이 숨겨져 있을 수 있습니다. 만약 아무도 결과를 자세히 살펴보지 않는다면, 이러한 사실은 눈에 띄지 않을 것입니다.

이러한 유형의 편향은 대개 의도치 않은 것입니다. AI는 우리가 제공하는 데이터를 통해 학습하는데, 만약 그 데이터가 과거의 불평등을 반영하거나 특정 집단을 제대로 대표하지 못한다면, 이 모델은 누구도 명시적으로 "명령"하지 않았음에도 불구하고 이러한 불의를 재현하고 증폭시킵니다.또한 불투명하기 때문에 어떤 변수나 조합이 차별을 유발하는지 파악하는 것은 매우 복잡한 작업이 됩니다.

불투명도 또한 어려움을 야기합니다. 체계적인 오류 또는 취약점 식별모델이 어떻게 "추론"하는지 알지 못하면 어떤 유형의 입력이 모델을 "환각"(거짓이지만 설득력 있는 응답을 생성)으로 이끌거나 모델을 조작하기 위해 설계된 적대적 함정에 빠지게 할지 예측하기가 더 어려워집니다.

이 모든 것에는 한 가지 분명한 결과가 따른다. 사용자, 고객, 그리고 당국 간의 신뢰가 무너지고 있다.인공지능에 기반한 결정으로 인해 누군가가 불이익을 당했는데, 어떤 요소들이 고려되었는지 명확하게 설명할 수 없다면, 시스템의 공정성과 정당성에 대한 의구심이 생기는 것은 당연합니다.

윤리적, 법적 및 책임상의 영향

법적인 관점에서 볼 때, 블랙박스는 심각한 문제를 야기합니다. 이는 인공지능 시스템과 피해 사이의 인과관계를 입증하는 것을 어렵게 만든다.민사 책임을 입증하려면 일반적으로 손해, 과실 또는 결함 있는 행위, 그리고 인과관계가 모두 필요합니다. 그러나 불투명한 모델에 기반한 결정은 이 세 번째 요소를 충족하기 어렵게 만듭니다.

아날로그 시대에는 해고, 신용 거부 또는 접근 제한에 대한 논의는 검토를 통해 이루어졌습니다. 문서, 기준, 증인 및 명확한 동기AI 모델에서는 입력 데이터와 최종 결정 사이에 재구성하기 어려운 추론 단계가 여러 개 삽입되며, 이는 종종 모델 제공업체, 통합업체, 사용자 기업, 데이터를 제공하는 제3자 등 다양한 주체에 의해 관리됩니다. 누가 무엇을 통제하는지를 희석시킨다.

게다가 계산대를 닫아두는 데에는 분명한 동기가 있습니다. 운영자는 영업 비밀이나 기술적 복잡성을 핑계로 삼을 수 있습니다. 소송에서 관련 정보 공개를 피하기 위해서입니다. 피해자가 기록, 기술 문서 또는 의사 결정 내역에 접근할 수 없다면, 피해가 AI 시스템으로 인한 것임을 입증하는 것이 거의 불가능해집니다.

유럽 ​​입법부의 대응은 강력합니다. 만약 완전한 설명이 불가능하다면, 시험의 모든 부담을 가장 약한 부분에만 지울 수는 없습니다.따라서 우리는 로그 보존, 시스템 작동 방식에 대한 문서화, 감사 승인, 그리고 절차적 차원에서 요구되는 새로운 규정들을 보게 됩니다. 피해자에게 유리한 증거와 추정을 제시할 수 있는 길을 열어줍니다. 운영자가 협조하지 않을 때.

예를 들어, 인사 관리에 AI 도구를 사용하는 회사를 생각해 보겠습니다. 이력서를 검토하고, 성과를 평가하거나, 승진을 추천하는 등의 작업을 수행합니다.형식적으로는 최종 결정권이 사람에게 있지만, 실제로는 AI가 생성한 보고서에 크게 의존합니다. 만약 근로자가 거부되거나 해고되어 접근 권한이 부여되지 않는다면, 어떤 데이터가 사용되었고, 그 데이터는 얼마나 중요한 비중을 차지했으며, 어떤 패턴이 발견되었는가? 시스템을 뒷받침하는 기술 문서도 없습니다. 블랙박스는 결정할 뿐만 아니라, 그 외에도 여러 가지 일을 합니다. 결정에 효과적으로 이의를 제기하는 것을 방해합니다..

설명 가능한 AI와 해석 가능성: 틀을 깨고 나아가기

이러한 문제들을 완화하기 위해, 해당 분야는 설명 가능한 인공지능(XAI)목표는 알고리즘이 수행하는 작업을 한 줄씩 "번역"하는 것이 아니라, 모델이 특정 결정을 내린 이유에 대해 유용하고 이해하기 쉬우며 실행 가능한 설명을 제공하는 것입니다.

크게 두 가지 접근 방식이 있습니다. 한편으로는, 본질적으로 해석 가능한 모델 또는 화이트박스 모델선형 회귀, 간단한 의사 결정 트리 또는 논리 규칙과 같은 단순 알고리즘은 어떤 변수가 포함되는지, 어떤 규칙이 적용되는지, 그리고 결과가 어떻게 도출되는지를 명확하게 보여줍니다. 이러한 유형의 모델은 감사 및 추적성을 용이하게 하지만, 때로는 정확도가 다소 떨어질 수 있습니다.

반면에, 우리는 사후 설명 기법이 적용되는 복잡한 모델(블랙박스)이러한 맥락에서 LIME, SHAP, 살리언스 맵 또는 Grad-CAM과 같은 도구가 유용하게 사용됩니다. 이러한 도구를 사용하면 특정 예측에서 가장 큰 비중을 차지한 특징을 추정하거나 이미지의 어느 영역이 진단에 결정적인 역할을 했는지 시각화할 수 있습니다.

예를 들어, 의료 분야에서는 SHAP 유형 기술이 다음과 같은 용도로 사용되어 왔습니다. 진단 영상 모델을 분석합니다. 또한, 어떤 경우에는 시스템이 관련 임상 패턴보다는 엑스레이 사진상의 표시나 주석에 지나치게 집중하는 것을 발견했습니다. 이러한 편차를 감지함으로써 모델을 수정하고 위험을 줄일 수 있습니다.

더 나아가, 설명 가능성에는 중요한 인간적 측면이 있습니다. 설명을 듣는 사람이 이해하지 못하면 설명은 별 도움이 되지 않습니다.의사와 데이터 엔지니어의 요구 사항은 다르고, 판사와 환자 또는 은행 고객의 요구 사항도 다릅니다. 그렇기 때문에 우리는 기술과 인지 심리학, 인터페이스 디자인을 결합한 다학제적인 방식으로 작업하여 설명을 받는 사람의 특성에 맞춰 설명합니다.

블랙박스 인공지능, 화이트박스 인공지능, 그리고 설명 가능한 인공지능: 이들은 어떻게 다를까요?

"화이트박스", "블랙박스", "설명 가능한 AI"는 종종 같은 의미로 사용되지만, 그들은 정확히 동일하지 않습니다용어를 명확히 하는 것이 중요한데, 그렇지 않으면 혼란이 심각한 오해를 불러일으키기 때문입니다.

Un 화이트 박스 모델 그는 누구의 것인가 내부 운영 방식은 투명하고 이해하기 쉽습니다.어떤 변수들이 관련되어 있는지, 어떻게 결합되는지, 어떤 규칙이 적용되는지, 그리고 입력값이 어떻게 출력값이 되는지 쉽게 알 수 있습니다. 대표적인 예는 다음과 같습니다. 명확하게 정의된 선형 회귀 또는 간단한 의사 결정 트리이 모델들은 자체적으로 해석 가능합니다. 모델의 구조 자체가 이미 설명 역할을 하기 때문입니다.

Un 블랙박스 모델반면에, 내부 논리를 쉽게 따라갈 수 없는 것도 있습니다. 여기에는 다음이 포함됩니다. 심층 신경망, 고도로 복잡한 랜덤 포레스트, XGBoost 유형 부스팅 일반적으로, 여러 계층의 매개변수를 가지고 있어 명확한 인간의 규칙으로 변환하기 어려운 시스템들이 여기에 해당합니다.

La 설명 가능한 AI(XAI) 이는 화이트박스 모델과 화이트박스 모델을 모두 포함하는 더 넓은 개념입니다. 사후 설명을 생성하기 위해 블랙박스에 적용되는 기술매우 복잡한 모델이라도 변수의 중요도를 분석하거나, 핵심 사항을 시각화하거나, 대조적인 예시를 생성하는 도구("급여가 X이고 경력이 Y였다면 결과가 달라졌을 것입니다")가 함께 제공된다면 "설명 가능"하다고 볼 수 있습니다.

실제로 많은 조직들이 두 가지 접근 방식을 모두 결합하고 있습니다. 그들은 정확성보다 투명성이 더 중요할 때 단순한 모델을 사용합니다. (엄격하게 규제되는 사례의 경우) 예측 능력을 극대화해야 할 때 XAI가 탑재된 더욱 강력한 모델을 활용하지만, 해석을 완전히 포기하지는 않습니다.

유럽 ​​규정: AI법, GDPR 및 제품 책임

유럽연합은 알고리즘 불투명성 문제를 여러 각도에서 해결하기로 결정했습니다. 한편으로는, 일반 데이터 보호 규정 (RGPD) 이미 개인정보를 기반으로 자동화된 결정이 내려질 경우 특정 의무를 부과하고 있으며, 영향을 받는 당사자가 이해할 수 있는 방식으로 사용된 논리에 대한 "의미 있는" 정보를 제공하도록 요구하고 있습니다.

여기에 추가된 것은 AI법 또는 유럽 인공지능 규정2024년 8월부터 시행된 이 규정은 EU 내 인공지능 시스템의 개발 및 배포를 위한 구체적인 프레임워크를 수립합니다. 위험 수준별로 시스템을 분류합니다."용납할 수 없는 위험"을 초래하는 행위(예: 대중 사회 신용 시스템과 같은 사회적 점수 시스템 또는 특정 극단적인 행동 조작 기법)를 직접적으로 금지합니다.

의 시스템 고위험 (예를 들어, 보건, 금융, 인사, 교육 또는 보안 분야의 일부 용도는) 엄격한 의무를 준수해야 합니다. 즉, 다음 조건을 충족해야 합니다. 상세한 기술 문서, 추적성을 보장하는 자동화된 기록(로깅), 사용자를 위한 명확하고 이해하기 쉬운 정보 그리고 효과적인 인적 감독 메커니즘.

또한, 인공지능법은 다음과 같은 사항을 부과합니다. 투명성 의무 챗봇이나 콘텐츠 생성기 사용과 같은 시나리오에서는 사용자가 인공지능과 상호작용할 때 이를 알리고, 특정 경우에는 자동 생성된 콘텐츠에 라벨을 붙여야 합니다. 이러한 의무 사항들은 가장 영향력이 큰 사례부터 시작하여 향후 몇 년에 걸쳐 점진적으로 시행될 것입니다.

한편, 새로운 것은 결함 있는 제품에 대한 책임에 관한 지침(EU) 2024/2853 이 지침은 제품이 소프트웨어일 수도 있고 오류가 디지털 기능에서 비롯될 수 있는 환경에 맞춰 민사 책임 체계를 업데이트합니다. 이 지침은 명시적으로 다음을 인정합니다. 인공지능 시스템의 기술적 및 과학적 복잡성 또한 판사가 디지털 증거를 포함한 관련 증거를 접근 가능하고 이해하기 쉬운 방식으로 제시하도록 요구할 수 있게 해줍니다.

운영자가 협조하지 않거나 안전 의무를 위반할 경우 다음과 같은 조치가 취해질 수 있습니다. 결함 및 인과관계에 대한 추정다시 말해, 피해자가 합리적인 증거를 제시했는데 피고가 법원이 요청한 기록이나 서류를 제출하지 않으면, 법은 증거의 불균형을 해소하기 위해 피해자에게 유리하게 판결을 내립니다.

이번 규제 패키지 전체는 분명한 메시지를 전달합니다. 알고리즘적 복잡성을 시장에 도입하는 자는 누구든지 해당 알고리즘의 검증 가능성을 확보할 의무를 져야 한다.블랙박스는 더 이상 방어적 이점이 아니라 규정 준수 및 평판 위험 요소가 됩니다.

투명성, 개방형 모델 및 해결해야 할 과제

불투명성을 줄이는 한 가지 방법은 투자하는 것입니다. 오픈소스 모델과 포괄적인 문서화 관행개방형 시스템은 연구자, 규제 기관 및 기술 커뮤니티가 코드를 검토하고, 실험을 재현하고, 잠재적인 편향이나 취약점을 감지할 수 있도록 합니다.

하지만 오픈소스를 사용하더라도 근본적인 문제는 여전히 남아 있습니다. 매개변수 및 내부 표현의 해석 가능성접근의 투명성이 이해의 투명성을 자동으로 의미하는 것은 아닙니다. 그렇기 때문에 개방성과 개방형 접근 기술, 그리고 명확한 거버넌스 및 감사 프로세스를 결합하는 것이 매우 중요합니다.

당국과 전문가들은 그 중요성을 강조합니다. 투명성과 책임성을 증진하는 문화를 조성합니다.상세한 교육 및 사용 기록을 유지하고, 모델 변경 사항을 문서화하고, 인적 감독 프로토콜을 정의하고, 시스템의 기능, 한계 및 위험을 사용자에게 설명하는 인터페이스를 설계합니다.

작업도 진행 중입니다 새로운 해석 가능성 기법희소 오토인코더와 같은 방법들은 매우 복잡한 모델에서 "더 깔끔하고" 읽기 쉬운 잠재 요인을 추출하는 것을 목표로 합니다. 이러한 방법들의 핵심 아이디어는 내부적인 복잡성은 유지되지만, 더욱 견고한 설명 계층을 갖춘 일종의 "투명 상자"에 점진적으로 접근하는 것입니다.

하지만 전문가들은 다음과 같은 점을 인정합니다. 모든 모델을 완전히 투명하게 공개하지는 않을 것입니다.진정한 과제는 정확성, 효율성, 설명 가능성 사이의 균형을 맞추는 것이며, 특히 기본권에 중대한 영향을 미치는 결정을 내리는 시스템을 이해하기 쉽게 만드는 데 집중해야 합니다.

궁극적으로 오늘날 AI와 협력하려면 다음과 같은 가정을 해야 합니다. 관계는 맹목적이 아니라 협력적이어야 합니다.기계는 연산 능력과 패턴 감지 기능을 제공하지만, 인간은 윤리적 기준을 설정하고, 중요한 결과를 검증하며, 무언가 맞지 않을 때는 합리적인 설명을 요구해야 합니다.

이러한 맥락에서, 인공지능의 소위 "불투명성" 또는 블랙박스 효과는 단순히 기술적인 문제일 뿐만 아니라, 혁신과 규제, 그리고 사회적 신뢰 사이의 핵심적인 마찰 지점유럽의 법률, 인공지능 기술 및 모범적인 거버넌스 관행이 발전함에 따라 블랙박스는 더 이상 도달할 수 없는 미스터리가 아니라, 복잡하지만 시민, 기업 및 법원이 그 결정을 신뢰할 수 있을 만큼 충분히 밝혀질 수 있고 또 밝혀져야 하는 시스템으로 인식되기 시작했습니다.