신경망에서 최적의 계층 수?

신경망 (Feedforward, Back Propagation 또는 RNN)을 구현하는 동안 생성 할 최적의 레이어 수를 결정하는 방법은 무엇입니까?

Pruning신경망 이라고 불리는 기술이 있는데 , 이것은 같은 목적으로 만 사용됩니다.

가지 치기는 숨겨진 레이어 수에 따라 수행됩니다. 이 프로세스는 의사 결정 트리의 정리 프로세스와 매우 유사합니다. 정리 프로세스는 다음과 같이 수행됩니다.

• 표준 교육 알고리즘을 사용하여 조밀하게 연결된 대규모 네트워크 교육
• 훈련 된 네트워크를 검사하여 가중치의 상대적 중요성을 평가하십시오.
• 가장 중요한 무게를 제거하십시오
• 정리 된 네트워크 재교육
• 만족할 때까지 2-4 단계를 반복하십시오.

그러나 신경망을 가지 치기위한 최적화 된 방법 이 몇 가지 있으며, 매우 활발한 연구 분야 이기도합니다 .

하이퍼 파라미터의 함수로 손실 (또는 기타)을 최적화하는 일반적인 방법으로 베이지안 하이퍼 파라미터 최적화를 살펴볼 수 있습니다. 그러나 일반적으로 네트워크가 깊어 질수록 더 나은 계층이므로 여러 계층의 함수로 손실을 최적화하는 것은 그리 재미있는 일이 아닙니다.

그리드 검색과 약간의 상식 (많은 예제를 통해 알 수 있듯이)이 최선의 방법입니다.