신경망은 의사 결정 트리처럼 설명 가능성이 있습니까?

13

의사 결정 트리에서 트리 구조의 출력을 이해하고 의사 결정 트리가 의사 결정을 내리는 방법을 시각화 할 수도 있습니다. 따라서 의사 결정 트리는 설명 가능합니다 (결과는 쉽게 설명 할 수 있습니다).

의사 결정 트리와 같은 신경망에 설명이 있습니까?

neural-network

— 네비 야
소스

1

최신 모델 독립적 프레임 워크는 LIME 모델 입니다.

— Emre

신경망을 이용한 객체 인식 / 분류 분야에서 heatmaps는 heatmapping.org 와 같은 결정을 시각화 / 설명하는 데 널리 사용 됩니다. 튜토리얼 및 대화식 데모를 사용할 수 있습니다.

— Nikolas Rieble

9

이전 답변과 두 가지 이유로 귀하의 제안에 동의하지 않습니다.

1) 의사 결정 트리는 간단한 논리적 인 의사 결정을 기반으로하며 함께 결합하면보다 복잡한 의사 결정을 내릴 수 있습니다. 그러나 입력의 치수가 1000이고 학습 된 피처가 선형이 아닌 경우 노드를 살펴보면 읽거나 이해할 수없는 매우 크고 무거운 의사 결정 트리가 생성됩니다.

2) 신경망은 그들이 배우는 기능이 아주 작은 경우에만 이해할 수 있다는 점에서 감각과 유사합니다. 커질 때, 그것들을 이해하기 위해 다른 트릭이 필요합니다. @SmallChess가 제안한 것처럼, 당신 은 컨볼 루션 신경망의 특정 사례에 대해 설명하는 컨볼 루션 네트워크 시각화 및 이해 라는 이 기사 를 읽을 수 있습니다. 나머지 부품이 아닌 휠 "

이러한 시각화는 많은 연구원들이 신경 구조의 약점을 실제로 이해하고 훈련 알고리즘을 개선하는 데 도움이되었습니다.

— 남자 이름
소스

:-) 나는 논문 자체가 깊은 회선 네트워크 자체보다 이해하기 어렵다는 것을 알았다. 매우 수학적인 종이입니다.

— HelloWorld

1

죄송합니다, 잘못된 기사를 인용했습니다 :-) 방금 변경했습니다.이 그래픽은 더 그래픽입니다. 같은 방식으로 Google Deep Dream은 역 전파를 사용하여 입력 공간에 특정 출력을 투사합니다.

— Robin

매트 ZEILER이 아이디어의 많은 expains 비디오라는 Deconconvolution 네트워크가

— 알렉스

7

아닙니다. 신경망은 일반적으로 이해하기 어렵습니다. 모형 복잡성을 위해 예측력을 교환합니다. NN 가중치를 그래픽으로 시각화 할 수는 있지만 결정이 내려진 방법을 정확하게 알려주지는 않습니다. 딥 네트워크를 이해하려고 노력하십시오.

더 간단한 모델을 사용하여 NN을 로컬로 모델링 할 수있는 널리 사용되는 Python 패키지 (및 문서가 있음)가 있습니다. 당신은보고 싶어 할 수 있습니다.

https://github.com/marcotcr/lime

— 헬로 월드
소스

1

ㅋ. 나는 그것이 어떤 느낌인지 압니다. 포옹 : D

— Dawny33

0

https://arxiv.org/abs/1704.02685 는 NN 전용 로컬 설명 도구 인 딥 리프트를 제공합니다. 설명하려는 인스턴스와 참조 인스턴스 간의 활성화 차이를 전파하여 작동합니다. 참조를 얻는 것은 약간 까다 롭지 만 도구는 전체적으로 해석 가능하고 확장 가능한 것으로 보입니다. 우리는 테이블 형식의 데이터에 사용합니다.

— lcrmorin
소스