숨겨진 레이어 사용 목적 및 결정

이 질문 에 후속 ...

연구에 신경망을 사용하고 만드는 방법을 배우려고 노력 중이며 한 가지 점이 다소 벗어날 것입니다. 숨겨진 레이어는 이것의 어느 정도 필요한 부분이라는 것을 알고 있지만 내 참조가 만족스럽지 않은 두 가지 점에 붙어 있습니다.

1. 숨겨진 레이어의 정확한 목적은 무엇입니까?
2. 사용할 숨겨진 레이어 수를 어떻게 결정합니까?

내가 수집 한 내용에서 실제 기능을 "모델링"하는 것이지만 가능하면 좀 더 설명하고 싶습니다.

숨겨진 계층은 네트워크의 표현력을 높이기 위해 사용됩니다. 이를 통해 네트워크는 숨겨진 계층없이 가능한 것보다 더 복잡한 모델을 나타낼 수 있습니다.

숨겨진 계층의 수를 선택하거나 숨겨진 계층의 숨겨진 단위 수를 포함하여 네트워크 아키텍처를보다 일반적으로 선택하는 것은 훈련 및 교차 유효성 검사 데이터를 기반으로 결정해야합니다. 설정된 양의 노드로 네트워크를 교육하고 (시작하려면 입력 장치 당 하나의 단위로 숨겨진 레이어 하나 시도) 모델을 테스트해야합니다.

자세한 내용은 다음 링크를 참조하십시오. http://www.faqs.org/faqs/ai-faq/neural-nets/part3/section-10.html

우리는 단순한 피드 포워드 신경망, 즉 다층 퍼셉트론을 논의한다고 가정합니다.

1. 숨겨진 계층은 데이터 기능과 예측하려는 변수 간의 비선형 종속성을 캡처하는 데 필요합니다. 숨겨진 레이어를 사용하지 않는 경우 선형 회귀 (회귀) 또는 로지스틱 회귀 (분류)를 사용할 수도 있습니다.
2. 다양한 수의 숨겨진 레이어를 시도하고 예를 들어 교차 유효성 검사 설정에서 레이어가 얼마나 잘 작동하는지 평가합니다. 일반적으로 하나의 숨겨진 레이어로 충분하며 NN 성능은 크기와 정규화를 변경하여 최적화됩니다.

숨겨진 레이어가 두 개 이상이면 딥 러닝 영역에 있으며 그물을 훈련시키기 위해 사용자 정의 알고리즘이 필요할 수 있습니다. 그 이유는 바닐라 역 전파가 딥 네트에서 "소멸 구배"문제를 겪기 때문입니다. 오류 함수의 구배는 입력에 가까운 레이어에서 다운되고 그 레이어는 훈련되지 않습니다.