신경망은 의사 결정 트리처럼 설명 가능성이 있습니까?


13

의사 결정 트리에서 트리 구조의 출력을 이해하고 의사 결정 트리가 의사 결정을 내리는 방법을 시각화 할 수도 있습니다. 따라서 의사 결정 트리는 설명 가능합니다 (결과는 쉽게 설명 할 수 있습니다).

의사 결정 트리와 같은 신경망에 설명이 있습니까?


1
최신 모델 독립적 프레임 워크는 LIME 모델 입니다.
— Emre

신경망을 이용한 객체 인식 / 분류 분야에서 heatmaps는 heatmapping.org 와 같은 결정을 시각화 / 설명하는 데 널리 사용 됩니다. 튜토리얼 및 대화식 데모를 사용할 수 있습니다.
— Nikolas Rieble

답변:


9

이전 답변과 두 가지 이유로 귀하의 제안에 동의하지 않습니다.

1) 의사 결정 트리는 간단한 논리적 인 의사 결정을 기반으로하며 함께 결합하면보다 복잡한 의사 결정을 내릴 수 있습니다. 그러나 입력의 치수가 1000이고 학습 된 피처가 선형이 아닌 경우 노드를 살펴보면 읽거나 이해할 수없는 매우 크고 무거운 의사 결정 트리가 생성됩니다.

2) 신경망은 그들이 배우는 기능이 아주 작은 경우에만 이해할 수 있다는 점에서 감각과 유사합니다. 커질 때, 그것들을 이해하기 위해 다른 트릭이 필요합니다. @SmallChess가 제안한 것처럼, 당신 은 컨볼 루션 신경망의 특정 사례에 대해 설명하는 컨볼 루션 네트워크 시각화 및 이해 라는 이 기사 를 읽을 수 있습니다. 나머지 부품이 아닌 휠 "

이러한 시각화는 많은 연구원들이 신경 구조의 약점을 실제로 이해하고 훈련 알고리즘을 개선하는 데 도움이되었습니다.


:-) 나는 논문 자체가 깊은 회선 네트워크 자체보다 이해하기 어렵다는 것을 알았다. 매우 수학적인 종이입니다.
— HelloWorld

1
죄송합니다, 잘못된 기사를 인용했습니다 :-) 방금 변경했습니다.이 그래픽은 더 그래픽입니다. 같은 방식으로 Google Deep Dream은 역 전파를 사용하여 입력 공간에 특정 출력을 투사합니다.
— Robin

매트 ZEILER이 아이디어의 많은 expains 비디오라는 Deconconvolution 네트워크가
— 알렉스

7

아닙니다. 신경망은 일반적으로 이해하기 어렵습니다. 모형 복잡성을 위해 예측력을 교환합니다. NN 가중치를 그래픽으로 시각화 할 수는 있지만 결정이 내려진 방법을 정확하게 알려주지는 않습니다. 딥 네트워크를 이해하려고 노력하십시오.

더 간단한 모델을 사용하여 NN을 로컬로 모델링 할 수있는 널리 사용되는 Python 패키지 (및 문서가 있음)가 있습니다. 당신은보고 싶어 할 수 있습니다.

https://github.com/marcotcr/lime


1
ㅋ. 나는 그것이 어떤 느낌인지 압니다. 포옹 : D
— Dawny33

0

https://arxiv.org/abs/1704.02685 는 NN 전용 로컬 설명 도구 인 딥 리프트를 제공합니다. 설명하려는 인스턴스와 참조 인스턴스 간의 활성화 차이를 전파하여 작동합니다. 참조를 얻는 것은 약간 까다 롭지 만 도구는 전체적으로 해석 가능하고 확장 가능한 것으로 보입니다. 우리는 테이블 형식의 데이터에 사용합니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.