신경망에서 정규화 방법 선택

신경망을 훈련 할 때, 네트워크를 정규화하는 최소한 4 가지 방법이 있습니다 :

신경망에서 정규화 유형을 결정하는 데 도움이되는 강력하고 잘 문서화 된 원칙은 없습니다. 정규화 기술을 결합 할 수도 있습니다. 단 하나만 선택할 필요는 없습니다.

실행 가능한 접근 방식은 경험을 기반으로하며 다양한 문제 영역에서 좋은 결과를 낸 결과를 확인하기 위해 문헌 및 기타 사람들의 결과를 따릅니다. 이를 염두에두고, 드롭 아웃은 광범위한 문제에 대해 매우 성공적인 것으로 판명되었으며, 시도하려는 내용에 관계없이 첫 번째 선택으로 간주 할 수 있습니다.

또한 때로는 익숙한 옵션을 선택하는 것이 도움이 될 수 있습니다. 이해하고 경험이있는 기술을 사용하면 매개 변수를 어떤 크기의 순서로 시도해야할지 확실하지 않은 다양한 옵션을 사용하는 것보다 더 나은 결과를 얻을 수 있습니다 . 중요한 문제는이 기술이 다른 네트워크 매개 변수와 상호 작용할 수 있다는 것입니다. 예를 들어 드롭 아웃 백분율에 따라 드롭 아웃이있는 레이어의 크기를 늘리고 싶을 수 있습니다.

마지막으로, 어떤 정규화 기술을 사용하는지는 중요하지 않을 수 있습니다. 문제를 과도하게 이해하고보다 정규화 할 수있는 시점을 파악할 수있을 정도로 문제와 모델을 충분히 이해한다는 것입니다. 또는 그 반대의 경우에는 적합하지 않으며 정규화를 축소해야합니다.

정규화 방법

다음 4 가지 기법의 경우 L1 정규화 및 L2 정규화는 정규화 방법이어야한다고 말할 필요가 없습니다. 그들은 무게를 줄입니다. 무게가 더 중요하다면 L1은 적은 양의 무게를 줄이는 데 집중할 것입니다.

탈락은 뉴런을 일시적으로 제거하여 과적 합을 방지합니다. 결국 모든 가중치를 평균으로 계산하여 가중치가 특정 뉴런에 비해 너무 크지 않도록 규칙 화하는 방법입니다.

배치 정규화는 정규화 방법이 아니어야합니다. 주 목적은 배치를 선택하고 가중치가 너무 크지 않고 너무 작지 않고 0에 가깝게 분포되도록하여 훈련 속도를 높이는 것입니다.

그것을 선택

나를 위해, 미니 배치는 프로세스 속도를 높이고 매번 네트워크 성능을 향상시킬 수 있기 때문에 필수입니다.

L1과 L2는 비슷하며 소규모 네트워크에서는 L1을 선호합니다.

이상적으로 큰 변형 문제 또는 과적 합이있는 경우 드롭 아웃을 적용해야합니다.

마지막으로, 저는 상황에 따라 Neil Slater에 동의하며 최적의 솔루션은 절대 없을 것이라고 동의합니다.

자세한 내용은이 내용을 읽어 보시기 바랍니다. 이것은 매우 좋은 재료입니다. http://neuralnetworksanddeeplearning.com/chap3.html

알고리즘 선택 사항을 추가 하이퍼 파라미터로보고 다른 하이퍼 파라미터와 동일한 방식으로 최적화하십시오. 일반적으로 더 많은 데이터가 필요합니다.