자체 토폴로지를 구축하는 최신 신경망

backprop와 같은 표준 신경망 알고리즘의 한계는 원하는 숨겨진 레이어와 레이어 당 뉴런 수를 디자인 결정해야한다는 것입니다. 일반적으로 학습 속도와 일반화는 이러한 선택에 매우 민감합니다. 이것이 계단식 상관 관계 와 같은 신경망 알고리즘 이 관심을 불러 일으킨 이유 입니다. 최소 토폴로지 (입력 및 출력 장치)로 시작하고 학습이 진행됨에 따라 새로운 숨겨진 장치를 모집합니다.

CC-NN 알고리즘은 1990 년 Fahlman과 1991 년 반복 버전에 의해 도입되었습니다. 최소 토폴로지로 시작하는 최근 (1992 년 이후) 신경망 알고리즘은 무엇입니까?

관련 질문

CogSci.SE : 생물학적으로 그럴듯한 신경 발생 설명이있는 신경망

여기서 암시적인 질문은 모델이 "적합한 크기"이고 과적 합 / 부적합하지 않도록 신경망 또는 기계 학습 모델의 토폴로지 / 구조를 어떻게 결정할 수 있는지입니다.

캐스케이드 상관 관계는 1990 년으로 거슬러 올라간 이후로이를 수행하기위한 수많은 방법이 있었으며, 그 중 많은 방법이 훨씬 더 나은 통계 또는 계산 속성을 가지고 있습니다.

• 부스팅 : 한 번에 약한 학습자를 훈련 시키십시오. 각 약한 학습자는 강화 된 훈련 세트를 제공하여 과거 학습자가 배우지 않은 것을 배울 수 있습니다.
• 올가미 또는 자동 관련성 결정과 같은 정규화를 유발하는 희소성 : 큰 모델 / 네트워크로 시작하고 불필요한 장치가 "끄기"되도록하는 정규화기를 사용하여 유용한 장치를 활성화하십시오.
• 베이지안 비모수 : "올바른"모델 크기를 찾는 것을 잊지 마십시오. 하나의 큰 모델을 사용하고 Bayesian 정규화 / 준수에주의하십시오. 예를 들어, 무한한 수의 단위와 가우시안 이전의 신경망은 가우시안 프로세스로 도출 될 수 있으며, 이는 훈련하기가 훨씬 더 간단하다는 것이 밝혀졌습니다.
• 딥 러닝 : 다른 답변에서 언급했듯이 한 번에 한 계층 씩 딥 네트워크를 훈련시킵니다. 이것은 실제로 레이어 당 단위 수를 결정하는 문제를 해결하지 못합니다. 종종 이것은 여전히 ​​수작업 또는 교차 검증에 의해 설정됩니다.

NEAT (Augmenting Topologies)의 NeuroEvolution은 어떻습니까 http://www.cs.ucf.edu/~kstanley/neat.html

간단한 문제에는 효과가있는 것 같지만 수렴 속도가 매우 느립니다.

제가 오늘 예술의 최고점을 이해하는 것은 "비지도 기능 학습 및 딥 러닝"입니다. 요컨대, 네트워크는 감독되지 않은 방식으로 각 계층을 한 번에 교육하고 있습니다.

• http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial
• http://www.youtube.com/watch?v=ZmNOAtZIgIk&feature=player_embedded

NEAT (증강 토폴로지와 신경 진화)에 대한 언급이 이미있었습니다. 종 분화와 HyperNEAT를 포함하여 이것에 대한 진보가 있습니다. HyperNEAT는 '메타'네트워크를 사용하여 완전히 연결된 표현형의 가중치를 최적화합니다. 이것은 이미지 인식 및 보드 게임 유형 문제에서 귀중한 네트워크 '평면 인식'을 제공합니다. 2D로 제한되지 않습니다. 신호 분석을 위해 1D로 사용하고 있으며 2D 이상이 가능하지만 처리 요구 사항이 무겁습니다. Ken Stanley의 논문과 Yahoo에 관한 그룹이 있습니다. 네트워크에서 다루기 어려운 문제가있는 경우 NEAT 및 / 또는 HyperNEAT를 적용 할 수 있습니다.

이 주제에 관해 RP Adams, H. Wallach 및 Zoubin Ghahramani에 관한 최근 논문이 있습니다. 깊은 희소 그래픽 모델의 구조를 학습합니다. 이것은 일반적인 신경망 커뮤니티 외부에 있으며 머신 러닝 측면에 더 있습니다. 이 논문은 네트워크 구조에서 비모수 적 베이지안 추론을 사용합니다.