베이지안 네트워크가 신경망을 능가하는 도메인이 있습니까?

신경망은 컴퓨터 비전 작업에서 최고의 결과를 얻습니다 ( MNIST , ILSVRC , Kaggle Galaxy Challenge 참조 ). 그들은 Computer Vision에서 다른 모든 접근 방식보다 우수한 것으로 보입니다. 그러나 다른 작업도 있습니다.

• 카글 분자 활동 도전
• 회귀 : Kaggle Rain 예측 , 2 위
• 잡고 리프트 둘째 도 셋째 장소 - 뇌파 기록에서 확인 손동작

ASR (자동 음성 인식) 및 기계 번역에 대해 확신이 없지만, (반복적 인) 신경 네트워크가 다른 접근 방식보다 뛰어나다 고 들었습니다.

현재 Bayesian Networks에 대해 배우고 있으며 어떤 경우에 해당 모델이 일반적으로 적용되는지 궁금합니다. 그래서 내 질문은 :

최첨단 네트워크가 Bayesian Networks 또는 최소한 매우 유사한 모델 인 도전 / (Kaggle) 경쟁이 있습니까?

(측면 참고 : 나는 최근 몇 가지 Kaggle 과제에서 의사 결정 트리 , 2 , 3 , 4 , 5 , 6 , 7이 승리 한 것을 보았습니다)

베이지안 접근 방식이 자주 사용되는 영역 중 하나는 예측 시스템의 해석 가능성이 필요한 부분입니다. 의사에게 신경망을 제공하고 싶지 않으며 95 % 정확하다고 말합니다. 차라리 메소드가 사용하는 의사 결정 프로세스뿐만 아니라 메소드가 가정하는 가정을 설명하려고합니다.

유사한 영역은 사전 도메인에 대한 지식이 풍부하고 시스템에서 사용하려는 경우입니다.

베이지안 네트워크와 신경 네트워크는 서로 배타적이지 않습니다. 실제로 베이지안 네트워크는 "지향 그래픽 모델"의 또 다른 용어 일뿐입니다. 그것들은 목적 함수 신경망을 설계하는데 매우 유용 할 수 있습니다. Yann Lecun은 이것을 지적했습니다. https://plus.google.com/+YannLeCunPhD/posts/gWE7Jca3Zoq에서 .

한 가지 예입니다.

변형 자동 엔코더 및 파생 상품은 신경망은 p ( x | z ) 와 그 역의 근사값을 구현하는 데 사용됩니다: q ( z | x ) ≈ p ( z | x ) .

이미 훌륭한 답변입니다.

내가 생각하고 광범위하게 작업하고있는 도메인 중 하나는 고객 분석 도메인입니다.

고객 지원, 마케팅 및 성장 팀에 알리고 경고하기 위해 고객의 움직임과 동기를 이해하고 예측해야합니다.

신경망은 이탈 예측 등에서 정말 훌륭하게 작동합니다. 그러나 베이지안 네트워크 스타일을 발견하고 선호합니다. 선호하는 이유는 다음과 같습니다.

1. 고객에게는 항상 패턴이 있습니다. 그들은 항상 이유가 있습니다 행동 가 있습니다. 그 이유는 우리 팀이 그들에게 해준 일이거나 스스로 배운 것입니다. 따라서 모든 것이 여기에 선행이 있으며 사실 그 이유는 고객이 내린 결정의 대부분을 촉진하기 때문에 이유가 매우 중요합니다.
2. 마케팅 / 판매 퍼널에서 고객과 성장 팀의 모든 움직임은 원인이됩니다. 따라서 잠재 고객을 고객으로 전환 할 때 사전 지식이 중요합니다.

따라서 고객 분석과 관련하여 이전 개념 은 매우 중요하므로 Bayesian 네트워크 개념은이 영역에서 매우 중요합니다.

제안 된 학습 :

신경망을위한 베이지안 방법

비즈니스 분석의 베이지안 네트워크

때로는 결과를 예측하는 것만 큼 결과를 변경하는 데 많은 관심이 있습니다.

충분한 훈련 데이터가 제공된 신경망은 결과를 더 잘 예측하는 경향이 있지만 일단 결과를 예측할 수 있으면 입력 기능을 변경하여 결과에 미치는 영향을 예측할 수 있습니다.

누군가가 심장 마비를 일으킬 가능성이 있다는 사실을 아는 실생활의 예는 유용하지만, XX를 중단하면 위험이 30 % 줄어든다는 것이 더 큰 이점이라고 사람들에게 알릴 수 있습니다.

고객 보유와 마찬가지로 고객이 쇼핑을 중단하는 이유를 알고 있으면 쇼핑을 중단 할 가능성이있는 고객을 예측하는 것만 큼 가치가 있습니다.

또한 예측이 좋지만 더 많은 조치가 취해지는 더 단순한 베이지안 네트워크 는 종종 "올바른"베이지안 네트워크보다 더 나을 수 있습니다.

신경망에 비해 베이지안 네트워크의 가장 큰 장점은 인과 추론에 사용될 수 있다는 것입니다. 이 지점은 통계 및 기계 학습에 근본적으로 중요하며 Judea Pearl 은이 연구 에서 Turing 상 을 수상했습니다 .

베이지안 네트워크는 작은 데이터 설정에서 신경 네트워크보다 성능이 우수 할 수 있습니다. 사전 정보가 네트워크 구조, 사전 및 기타 하이퍼 파라미터를 통해 올바르게 관리되면 신경망보다 우위에있을 수 있습니다. 신경망, 특히 더 많은 계층을 가진 신경망은 데이터가 배고픈 것으로 잘 알려져 있습니다. 거의 정의에 따라 제대로 훈련하기 위해서는 많은 데이터가 필요합니다.

게시했습니다 이 링크를 Reddit에 했으며 많은 피드백을 받았습니다. 어떤 사람들은 여기에 자신의 답변을 올렸지 만 다른 사람들은 그렇지 않았습니다 이 답변은 레딧 포스트를 요약해야합니다. (커뮤니티 위키로 만들었으므로 점수를 얻지 못했습니다)

• 변형 베이 자동 인코딩 는 베이 네트워크와 신경 네트워크의 조합입니다. Bernoulli 근사 변형 추론이 있는 베이지안 Convolutional Neural Networks 논문 은 같은 방향으로 가고있는 것으로 보인다.
• 드롭 아웃 : 신경망의 과적 합을 방지하는 간단한 방법 은 베이지안 신경망이 드롭 아웃 방식보다 성능이 좋은 예입니다 (섹션 6.4 "베이 시안 신경망과 비교"참조)
• 확률 적 프로그램 유도를 통한 인간 수준의 개념 학습 은 "신경망을 능가하는 원샷 분류를 수행하는 베이지안 넷 네트워크에 관한 논문"(trashacount12345에 따르면-지금까지는 확인하지 않았습니다)입니다.
• Yann LeCun은 Google+ 게시물 을 작성하여 신경망과 전문 그래픽 모델이 직교 개념이 아니라고 주장합니다.

베이지안 네트워크는 게놈 해석에 선호됩니다. 예를 들어, 게놈 해석을위한 계산 방법을 논의하는 이 논문 을 참조하십시오 .

나는 이것을 위해 작은 예를 한 번했다. 그로부터 배포판을 캡처하고 싶지만 입력 교육 세트가 배포판을 잘 다루지 않는 경우 베이지안 네트워크가 선호된다고 생각합니다. 이러한 경우 잘 일반화 된 신경망조차도 분포를 재구성 할 수 없습니다.

나는 신경망이 다른 학습자보다 잘한다는 것에 강력히 동의하지 않습니다. 실제로 신경망은 다른 방법에 비해 상당히 나쁘다. 이 벌이 우연히 자주 수행되는 매개 변수를 선택하는 것에 대한 조언에도 불구하고 방법론도 없습니다. 포럼에서 신경망이 얼마나 좋은지에 대해 무작위로 이야기하는 몇몇 사람들이 있습니다. 그들은 그것에 관한 증거가 있기 때문이 아니라 공상적이고 윙윙 거리는 단어, 신경에 관심이 있기 때문입니다. '' xgboost와 비교하기 위해 신경망을 사용해 보았습니까? 나는 자아가 될 때까지 신경망을 시도하지 않을 것입니다. 그래서 행복한 신경망 :)