블랙 박스로서 신경망의 의미?

나는 사람들이 신경망에 대해 블랙 박스와 같은 것을 말하는 것을 종종 듣습니다. 나는 그들이 의미하는 바를 이해할 수 없습니다! 역 전파 작동 방식을 이해하면 어떻게 블랙 박스입니까?

그들은 우리가 어떻게 무게를 계산했는지 또는 무엇을 이해하지 못한다는 것을 의미합니까?

신경망은 모든 기능을 근사 할 수 있지만 구조를 연구해도 근사되는 기능의 구조에 대한 통찰력을 제공하지 않는다는 의미에서 블랙 박스입니다.

예를 들어, 은행 업무에서 신경망의 일반적인 사용은 대출자를 "좋은 지불 자"와 "나쁜 지불 자"로 분류하는 것입니다. 입력 특성 (성, 연령, 소득 등) 의 행렬 과 결과 R ( "기본", "기본이 아님"등)이 있습니다. 신경망을 사용하여 모델링 할 때 수학 함수의 적절한 의미에서 함수 f ( C ) = R 이 있다고 가정 합니다. 이 함수 f는 임의로 복잡 할 수 있으며 비즈니스의 발전에 따라 변경 될 수 있으므로 직접 파생시킬 수 없습니다.$C$$R$$f(C)=R$

그런 다음 신경망을 사용 하여 응용 프로그램에서 허용되는 오류율을 가진 근사값 를 만듭니다. 이것은 효과가 있으며 정밀도는 임의로 작을 수 있습니다. 네트워크를 확장하고 훈련 매개 변수를 미세 조정하고 정밀도가 목표에 도달 할 때까지 더 많은 데이터를 얻을 수 있습니다.$f$

블랙 박스 문제는 다음과 같습니다. 신경망에 의해 주어진 근사값은 f의 형태에 대한 통찰력을 제공하지 않습니다. 가중치와 근사되는 함수 사이에는 간단한 링크가 없습니다. 어떤 입력 특성이 관련이 없는지 분석하는 것도 열린 문제입니다 (이 링크 참조 ).

또한 기존 통계 관점에서 신경망은 식별 할 수없는 모델입니다. 데이터 집합과 네트워크 토폴로지를 고려할 때 가중치와 결과가 다른 두 개의 신경망이있을 수 있습니다. 이것은 분석을 매우 어렵게 만듭니다.

"비 블랙 박스 모델"또는 "해석 가능한 모델"의 예로 회귀 방정식과 결정 트리가 있습니다. 첫 번째 요소는 각 요소의 중요성이 명백한 f의 닫힌 형태 근사값을 제공하고 두 번째 요소는 일부 상대 위험 / 홀수 비율에 대한 그래픽 설명입니다.

Google은 Inception-v3을 게시했습니다 . 이미지 분류 알고리즘 (개에서 고양이에게 알리기)을위한 신경망 (NN)입니다.

논문에서 그들은 이미지 분류의 현재 상태에 대해 이야기합니다.

예를 들어, GoogleNet은 5 백만 개의 매개 변수 만 사용했는데, 이는 이전의 AlexNet에 비해 6 천만 개의 매개 변수를 사용한 12 배 감소를 나타 냈으며 VGGNet은 AlexNet보다 약 3 배 더 많은 매개 변수를 사용했습니다.

이것이 기본적으로 NN에 블랙 박스를 요청하는 이유입니다. 천만 개의 매개 변수로 이미지 분류 모델을 훈련 시켜서 전달하면 그것으로 무엇을 할 수 있습니까?

확실히 실행하고 이미지를 분류 할 수 있습니다. 잘 작동합니다! 그러나 모든 가중치, 바이어스 및 네트워크 구조를 연구하여 다음 질문에 답할 수는 없습니다.

• 이 네트워크가 푸들에서 허스키를 알릴 수 있습니까?
• 알고리즘에 대해 분류하기 쉬운 개체 중 어려운 개체는 무엇입니까?
• 개를 올바르게 분류 할 수있는 가장 중요한 부분은 무엇입니까? 꼬리 또는 발?
• 내가 고양이 머리를 개에게 포토샵하면 어떻게 되나요?

NN을 실행하여 질문에 대답하고 결과 (블랙 박스)를 볼 수도 있지만, 엣지 케이스에서 어떻게 작동하는지 이해하는 데 아무런 변화가 없습니다.