설명 가능한 AI가 필요한 이유는 무엇입니까?

AI 개발의 원래 목적이 일부 작업에서 인간을 돕는 것이었고 그 목적이 여전히 유지된다면 왜 설명에 관심을 가져야합니까? 예를 들어, 딥 러닝에서 지능이 우리가 최고의 능력을 발휘하고 신중하게 결정을 내리는 한 지능의 작동 방식을 알아야하는 이유는 무엇입니까?

에 의해 주장으로 Selvaraju 등. AI 진화에는 3 가지 단계가 있으며,이 모두에서 해석 성이 도움이된다.

1. AI 개발 초기 단계에서 AI가 인간의 성과보다 약한 경우 투명성은 더 나은 모델을 구축하는 데 도움이 될 수 있습니다 . 모델의 작동 방식을보다 잘 이해하고 몇 가지 주요 질문에 답변 할 수 있습니다. 예를 들어 왜 모델이 어떤 경우에 작동하고 다른 사람에하지 않는 이유를 몇 가지 예를 더 다른 사람보다 모델을 혼동 하는 이유 모델 이러한 유형의 작업과 다른 등,하지

2. AI가 휴먼 퍼포먼스와 동등하고 ML 모델이 여러 산업에 배치되기 시작하면 이러한 모델에 대한 신뢰 를 구축하는 데 도움이 될 수 있습니다 . 나는 이것이 가장 중요한 이유라고 생각하기 때문에 나중에 이것에 대해 조금 자세히 설명 할 것입니다.

3. AI는 크게 인간 (예를 들어 AI 체스 게임 또는 이동)을 능가 할 때 도움이 될 수 있습니다 컴퓨터 교육 (특정 작업에 대한 인간의 성능을 개선하는 방법에 대한 기계 학습 예).

신뢰가 왜 그렇게 중요한가?

먼저 신뢰 가 가장 중요한 산업의 몇 가지 예를 들어 보겠습니다 .

• 건강 관리에서 특정 질병에 대한 진단을 수행하는 심층 신경망을 상상해보십시오. 클래식 블랙 박스 NN은 이진 "yes"또는 "no"를 출력합니다. 비록 예측 가능성이 인간을 능가 할 수는 있지만 실제로는 전혀 쓸모가 없습니다. 의사가 모델의 평가에 동의하지 않으면 모델이 왜 그 예측을 했는지 알 수 없는가? 의사가 놓친 것을 보았을 수도 있습니다. 또한 오진이 발생한 경우 (예 : 아픈 사람이 건강하다고 분류되고 적절한 치료를받지 않은 경우) 누가 모델 사용자를 책임 져야합니까? 병원? 모델을 디자인 한 회사? 이를 둘러싼 법적 틀은 약간 모호합니다.

• 또 다른 예로는 자율 주행 차가 있습니다. 같은 질문이 발생합니다. 자동차가 고장 인 경우 운전자의 고장입니까? 자동차 제조업체? AI를 디자인 한 회사? 법적 책임은이 산업 발전의 핵심입니다.

사실, 이러한 신뢰 부족은 많은 분야에서 AI가 많은 분야에서 채택 되는 것을 방해 해왔다 (출처 : 1 , 2 , 3 ). 더 투명하고 해석 가능하거나 설명 가능한 시스템을 사용하면 사용자가 지능형 에이전트 (소스 1 , 2 , 3 )를 더 잘 이해하고 신뢰할 수 있다는 가설이 있습니다 .

여러 실제 응용 프로그램에서는 "시간의 94 % 작동"이라고 말할 수 없습니다. 정당성을 제공해야 할 수도 있습니다 ...

정부 규정

몇몇 정부는 AI 규제를 천천히 진행하고 있으며 투명성은이 모든 것의 중심에있는 것으로 보인다.

이 방향으로 가장 먼저 이동하는 것은 EU인데, AI는 투명해야한다는 몇 가지 지침을 설정했습니다 (출처 : 1 , 2 , 3 ). 예를 들어, GDPR은 개인의 데이터가 "자동 의사 결정"또는 "프로파일 링"시스템에 종속 된 경우 액세스 할 수있는 권리가 있다고 말합니다.

"논리와 관련된 의미있는 정보"

( EU GDPR 제 15 조 )

이제는 약간 흐릿하지만, 이러한 시스템에서 어떤 형태의 설명이 필요한 의도가 분명히 있습니다. EU가 통과하려는 일반적인 아이디어는 "사람들의 삶에 영향을 미치는 자동화 된 의사 결정 시스템이 있다면 특정 결정이 내려진 이유 를 알 권리가 있다는 것 "입니다. 예를 들어 은행에 대출 신청을 수락하고 거절하는 AI가있는 경우 신청자는 신청이 거부 된 이유 를 알 권리가 있습니다.

요약하면 ...

다음과 같은 이유로 설명 가능한 AI가 필요합니다.

• 그것은 우리에게 더 나은 이해를 제공하여 우리가 그들을 향상시키는 데 도움이됩니다.
• 경우에 따라 AI에서 일부 작업에서 더 나은 결정을 내리는 방법을 배울 수도 있습니다.
• 사용자가 AI를 신뢰할 수 있게 하여 AI를보다 광범위하게 채택 할 수 있습니다.
• 먼 미래에 배치 된 AI는 "투명"해야 할 수도 있습니다.

설명 가능한 AI가 필요한 이유는 무엇입니까? ... 왜 "지능이 작동 하는가?"를 알아야하는 이유

장비에 대한 접근 능력, 충분한 기술 및 충분한 시간이있는 사람은 시스템이 예상치 못한 결정을 내릴 수 있기 때문입니다. 올바른 이유에 대한 설명없이 결정에 의존하는 장비 소유자 또는 타사는 불리한 상황에 처하게됩니다.

예-누군가 다음 을 발견 할 수 있습니다 .

• John Smith라는 이름을 가진 사람들이 화요일 아침, 수요일 오후 또는 금요일과 홀수 일과 월에 심장 수술을 요청하는 사람들은 90 %의 확률로 라인 앞쪽으로 이동할 수 있습니다.

• 남자의 성을 알파벳의 상반기에 홀수 문자로 갖고 있고 배우자의 이름이 알파벳의 시작부터 문자로 시작하는 부부는 대출을받을 가능성이 40 % 더 높습니다 신용 기록에서 불량 항목이 5 개 미만입니다.

• 기타

위의 예 는 요청 된 질문과 관련하여 요인을 결정 해서는 안되지만 상대방 (자체 장비 또는 알고리즘에 대한 지식이있는)이이를 악용 할 수 있습니다.

출처 논문 :

• Stepan Komkov와 Aleksandr Petiushko의 " AdvHat : ArcFace Face ID 시스템에 대한 실제 적의 공격 "(2019 년 8 월 23 일)

  • 스티커를 만들어 모자에 부착하면 얼굴 인식 시스템을 속일 수 있습니다.

• " 장애 복구 기능 재생을 통해 적대적 공격으로부터 보호 테자스 Borkar, 펠릭스 된 Heide, 그리고 리나 카람에 의해 (2019 년 6 월 8),"

  • "DNN (Deep Neural Network) 예측은 정교하게 제작 된 적대적 섭동에 취약한 것으로 나타났습니다. 특히, 소위 범용 적대적 섭동은 모든 이미지에 추가 될 수 있고 대상 네트워크를 잘못 예측하여 잘못된 예측을 할 수있는 이미지에 구애받지 않는 섭동입니다. 이미지 영역에서 작동하는 기존의 적대적 방어 전략에서 출발하여 DNN 기능 도메인에서 작동하고 이러한 보편적 인 적대적 공격을 효과적으로 방어하는 새로운 방어를 제시합니다. 소음을 제거하고 이러한 DNN 필터 활성화를 노이즈 복원 기능으로 변환 (재생)하는 방어자 유닛을 배치하여 보이지 않는 악의적 인 섭동을 방지합니다. "

• " 장난 깊은 신경 네트워크에 대한 하나 개의 픽셀 공격 지아 웨이 스와, 다닐로 Vasconcellos 바 가스, 그리고 사쿠라이 코이치로 (2019 5월 3일)"

  • 변경하면 하나의 픽셀은 이러한 오류가 발생할 수 있습니다 :

  
  _{그림 1. 제안 된 알고리즘으로 생성 된 CIFAR-10 데이터 세트에 대해 훈련 된 3 가지 유형의 DNN을 성공적으로 속이는 1 픽셀 공격 : All Convolutional Network (AllConv), Network in network (NiN) 및 VGG. 원래 클래스 레이블은 검은 색이며 대상 클래스 레이블과 해당 신뢰도는 아래에 나와 있습니다.}

   

  
  _{그림 2. 수정 된 픽셀이 빨간색 원으로 강조 표시되는 ImageNet 데이터 세트에 대한 1 픽셀 공격. 원래 클래스 레이블은 검은 색이며 대상 클래스 레이블과 해당 신뢰도는 아래에 나와 있습니다.}

결정이 어떻게 그리고 왜 결정에 도달했는지에 대한 설명 없이는 절대적으로 신뢰할 수 없습니다.

은행, 병원 또는 예측 분석을 사용하여 사람들의 삶에 큰 영향을 미치는 행동에 대한 결정을 내리는 은행, 기타 기관이라면 Gradient Boosted 나무가 그렇게 지시했기 때문에 중요한 결정을 내릴 수 없습니다. 첫째, 위험하고 근본적인 모델이 틀릴 수 있고, 둘째 경우에는 불법이기 때문에 설명에 대한 권리를 참조하십시오 .

설명 가능한 AI는 종종 바람직하기 때문에

1. AI (특히 인공 신경망)는 의도 한 작업을 수행하지 못할 수 있습니다 . 보다 구체적으로 적대적인 사례 로 해킹 당하거나 공격을 받거나 치명적인 결과를 초래하는 예기치 않은 잘못된 결정을 내릴 수 있습니다 (예 : 사람의 사망으로 이어질 수 있음). 예를 들어 AI가 환자의 상태에 따라 환자에게 투여해야하는 약물의 복용량을 결정하는 데 책임이 있다고 상상해보십시오. AI가 잘못된 예측을해서 환자가 사망하면 어떻게됩니까? 누가 그러한 행동에 책임이 있습니까? AI의 복용량 예측을 수락하려면 의사가 신뢰 해야합니다.인공 지능이지만 신뢰는 이해와 함께 제공되며 설명이 필요합니다. 따라서 이러한 가능한 실패를 피하기 위해 AI의 내부 작동을 이해하는 것이 기본이므로 이러한 잘못된 결정을 다시하지 않습니다.

2. 인공 지능은 종종 인간과 상호 작용할 필요가 있는데, 이는 지각있는 존재들 (감정을 가짐)이며 종종 설명이나 확신이 필요합니다 (일부 주제 나 사건에 관해).

3. 일반적으로 인간은 종종 주변과 세계에 대한 설명과 이해를 찾고 있습니다. 본질적으로, 우리는 호기심과 탐험적인 존재입니다. 사과가 떨어지는 이유는 무엇입니까?

이에 대한 대답은 매우 간단합니다. 언젠가 은행 중역 인 경우 법정에 서서 AI가 이러한 모든 사람들에게 모기지를 거부 한 이유를 설명해야 할 수 있습니다. 반 차별 입법에 따라 일부 보호 된 특성을 공유합니다. 알고리즘에 대해 무언가를 골치 아픈 질문에 손을 흔들면 판사는 행복하지 않을 것입니다. 더 나쁜 것은, 왜이 차 / 비행기가 추락했고 다음에 어떻게 막을 수 있을까요.

이것은 많은 산업에서 AI를 더 널리 채택하기위한 주요 차단제입니다.

또 다른 이유 : 미래에 AI는 인간이 이해할 수없는 작업에 사용될 수 있으며, 주어진 AI 알고리즘이 그 문제에 어떻게 작용하는지 이해함으로써 주어진 현상의 본질을 이해할 수 있습니다.

우리가 설명 가능한 AI를 원하는 이유에 대한 더 실용적인 이유를 언급 한 이러한 모든 답변 외에도 더 철학적 인 것을 추가하고 싶습니다.

우리 주변의 사물이 어떻게 작동하는지 이해하는 것은 고대 과학의 주요 원동력 중 하나입니다. 일이 어떻게 작동하는지 이해하지 못하면 그 시점을 넘어서 진화 할 수 없습니다. "중력이 효과가있다"고해서 그 작동 방식을 이해하려고 노력하는 것이 멈추지 않았습니다. 그에 대한 더 나은 이해는 몇 가지 주요 발견으로 이어졌으며, 이는 우리가 기술을 발전시키는 데 도움이되었습니다.

마찬가지로 "작동"에서 멈 추면 개선을 멈출 것입니다.

편집하다:

인공 지능은 단지 "기계의 사고"를 만드는 것이 아니라 인간의 뇌가 어떻게 작동하는지 이해하는 데 도움이되었습니다. 인공 지능과 신경 과학은 함께 진행 됩니다 .

AI를 설명 할 수 없다면이 모든 것이 불가능할 것입니다.

AI 개발이 원래 인간을 돕고 자하는 동기에 의한 것이라고 추정해서는 안된다. 증명하거나 반증하기 어려운 타당한 설명이 많이 있습니다.

• 다른 사람보다 미래의 아이디어를 꿈꾸는 것으로 알려져 있습니다.
• 상상의 적 또는 미래의 잠재적 인 적보다 앞서 힘을 얻으십시오
• 가능할 수도 있기 때문에
• 재미를 위해
• 미 국방부는 아마도 무기한으로 자금을 조달 할 것이기 때문에
• 그것은 좋은 경력 이동입니다
• 인간의 두뇌에 대해 특별히 기적적인 것이 없다는 것을 증명하기 위해
• 우리는 고용되어 돈을 주었고, 그것을 쓰는 좋은 방법처럼 보였습니다.
• 그것을 추구하기로 결정했지만 우리 중 아무도 왜 그런지 기억하지 못합니다.

이 질문에는 잘 정의되지 않은 설명 어가 있지만,이를 대체 할 더 나은 단어를 찾기가 어려울 수 있습니다. 우리는 이것을 어떻게 공식화 할 것인가?

• 최고의 능력 (지능형 시스템)에 --- 우리는 어떤 방식으로 능력을 측정하고 결과를 그들과 비교할 것입니까? 우리는 한 학생에게 "당신은 자신을 적용하지 않습니다"라고 말하지만 그것은 과학적인 관찰이 아닙니다. 제 3 자의 등급 시스템과 다른 오류가있는 사람의 적용에 따라 달성되지 않은 성취도에 근거한 다소 임의적 인 판단입니다.
• 신중하게 의사 결정에 도달 --- 치료는 스스로 객관적인 목표를 의미합니다. 우리는 윤리적 인간의 경우와 같이 상황에 대한 추상적 인식에 적용되는 윤리 시스템을 인코딩하는 진보적 인 컴퓨팅 플랫폼을 아직 문서화하지 않았으며, 이에 따라 케어는 현실적인 의미를 얻습니다. 낸드 게이트가 낸드 기능을 안정적으로 수행하거나 일부 알고리즘이 특정 조건에서 주어진 데이터 세트 크기와 수렴하는 것으로 입증되었다는 것은 우리가 조심할 때 우리가 의미하는 완전히 확장 된 의미가 아닙니다.
• 설명 가능 --- 이것도 모호합니다. 한 가지 극단적으로, 인공 네트워크의 수렴 중 매개 변수 값 집합에 대한 수렴은 설명이지만 개별 값은 설명되지 않습니다. 반대로 극단적 가설, 실험 설계, 조건 선택, 분석, 결과 및 결론에 대한 전체 보고서는 여전히 완전한 설명이 아닙니다. 그러한 보고서는 보고서에 의해 요약 된 연구에 인간 지능의 적용을 설명하는 정보의 1 % 미만만을 포함 할 수 있습니다.

인공 네트워크에 대한 초기 연구는 1990 년대 초 AI 저널에서 추적성에 기초하여 설명 할 수 없다는 비판을 받았다. 프로덕션 (규칙 기반) 시스템은 적용된 규칙에 대한 감사 추적과 이전 규칙의 결과에 대해 누군가가 결과에 대한 서면 증거를 수집 할 수 있도록했습니다. 유용성이 제한되었습니다.

스티어링 휠이 차량에서 제거되고 일부 관할 구역이 일부 지역에서 인간의 운전에 대해 입법을 시작하기 시작하면 백만 시나리오의 안전 증명이 작성 되었기 때문이 아닙니다. 충분히 설득력있는 기간 동안 특정 차량 유형으로 설치된 AI 운전자로 인한 기록 된 우발적 인 사망, 해체 및 재산 파괴의 분포는 인간 운전자의 분포에 대한 안전성을 나타 내기 때문입니다. 결국 일부 법정 방이나 입법 코커스에서 누군가가 이것 또는 이와 동등한 것을 말할 것입니다.

논의중인 지역에 대해 이러한 특정 조건 하에서 인간 운전을 금지하지 않으면 매년 X 명의 남성, 여성, 어린이 및 노인 보행자 및 승객을 조기 사망에 처형합니다.

행동 메커니즘과 특정 사례에 대한 의사 결정을 이해하는 것이 유용하지만 AI가 실행 가능한 분야 및 연구 분야가 된 이유만큼 유용합니다.

• 경쟁 가능한 AI 시스템을 정량화 할 수있는 방식으로 비교하는 것이 흥미로울 것입니다.
• 지능에 대해 더 많이 이해하는 것은 학문적으로 가치가 있습니다.
• 더 나은 설명은 좋은 종이를 만듭니다.
• 나는 언젠가 낙서를하고 있었고, 잘못 설명 된 것처럼 보이는 특정 종류의 시스템을 설명 할 수있는 방법에 도달했다.

AI 시스템의 감사 불가능 성은 입법 및 사법 사건의 바닥에 나타날 수 있지만, 많은 결정은 통계적 평가가 게시되고인지되는 방식에 기초 할 것입니다. 시스템이 주장 할 수있는 방식으로 작동한다고 주장하는 사람들은 아마도 의식적으로나 무의식적으로 인간의 지배가 운명이라는 명백한 인식에 대한 관심에 의해 동기 부여 될 것이다. 냉전 동안 미국과 소련의 이익을 도왔던 많은 사람들이 이제 냉전 파벌의 후계자들에 의해 테러 지도자로 간주되는 것은 아이러니 이상입니다.

관련이 있고보다 명확하게 대답 할 수있는 질문은 지능적인 도우미가 무기한으로 도우미로 남아있을 수 있는지 여부입니다. 영원히 지성적이고 영원한 조력자에 대한 조사가 진행 중이며 공상 작가와 시나리오 작가에서부터 군부 동맹 싱크 탱커에 이르기까지 모든 사람들에게 큰 관심을 끌고 있습니다.

설명 가능한 AI가 가장 중요하게 요구되는 IMHO는 지적 게으른 사람이되는 것을 방지하는 것입니다. 답을 찾는 방법을 이해 하려고 노력 하지 않으면 게임을 컴퓨터에 양보 한 것입니다.