일부 연결을 제거하여 더 나은 ANN을 얻을 수 있습니까?

예를 들어 어떤 상황에서 ANN이 연결을 제거하면 ANN이 더 나은 성능을 발휘할 수 있는지 궁금합니다.

A와 B의 숨겨진 레이어 사이에 몇 개의 "통신"연결을 추가하여 두 개의 다중 레이어 ANN의 A와 B를 동일한 입력 및 출력 노드로 병렬 연결하여 하나의 ANN을 구성합니까?

더 나은 일반화 결과를 얻을 수 있습니까?

이것은 실제로 어떻게 사용됩니까, 아니면 항상 다중 계층 완전 연결된 네트워크를 사용합니까?

네 가능합니다. 어떤 사람들은이 문제를 자세히 살펴 보았습니다. 이를위한 방법에 대한 오래된 논문이 있습니다 : 최적의 뇌 손상

일반적으로 소규모 및 / 또는 스파 스 네트워크는 일반적으로 더 좋습니다. 어떤 형태의 웨이트 디케이 (weight decay)를 적용하여 훈련 알고리즘이 고정 크기 네트워크 내에서 불필요한 연결을 제거하도록하거나 불필요한 입력, 숨겨진 노드 또는 연결을 제거하여 네트워크 아키텍처 / 토폴로지 자체를 최적화하는 알고리즘을 적용 할 수 있습니다.

추가 연구를위한 아이디어와 시작점에 대한 이러한 참조를 보거나 아키텍처를 설계, 정리 및 최적화하기 위해 진화 알고리즘을 사용하는 방법을 살펴보십시오.

1. Castellano, G., Fanelli, AM (2000) '신경망 모델을 사용한 변수 선택', 신경 계산 (31)
2. Ji C., Psaltis D. (1997) '데이터 주도 성장과 부패를 통한 네트워크 합성', Neural Networks Vol. 10 권 6 호 1133-1141
3. Narasimha PL et al (2008) '피드 포워드 네트워크 훈련을위한 통합 성장 정리 방법', Neurocomputing (71), pp. 2831-2847
4. Schuster, A. (2008) '전산 적 인공 지능 네트워크 (International Journal of Computational Intelligence)'(4 : 2), pp. 98-104

대부분의 경우 불필요한 연결을 제거하면 네트워크가 향상됩니다. 네트워크의 오버 트레이닝 (과적 합)이 용이합니다.이 경우 유효성 검사 데이터 세트에서 성능이 저하됩니다.

불필요하게 연결을 정리하면 오버 트레이닝 확률이 줄어들 것입니다. http://en.wikipedia.org/wiki/Overfitting을 참조하십시오 .

네 가능합니다. 계산 단위, 숨겨진 레이어 수, 숨겨진 레이어 당 단위 등을 하이퍼 매개 변수로 고려할 수 있습니다. 일련의 실험을 수행하여 이러한 매개 변수에 대한 최적의 값을 찾을 수 있습니다.

예를 들면 다음과 같습니다.

트레이닝 세트 데이터의 60 %, 교차 검증 데이터의 20 %, 데이터의 20 % 테스트,

그런 다음 교차 검증 데이터 세트를 사용하여 교육 데이터 세트 및 튜닝 매개 변수를 사용하여 NN을 학습하십시오.

마지막으로 테스트 데이터 세트를 사용하여 NN의 성능을 평가할 수 있습니다.