ReLU가 다른 활성화 기능보다 나은 이유

여기 에 대답은 sigmoid유사한 활성화 기능에 있었지만 소멸 Relu이 있으며 예상 값인 그라디언트 소멸 및 폭발을 나타냅니다 . 의 출력에는 제한이 없으므로 Relu예상 값이 0이 아닙니다. 나는 Relu그것 의 인기가 이전 tanh보다 머신 러닝 전문가들 사이에서 가장 인기있는 시간을 기억합니다 sigmoid. 그 이유는의 예상 값이 tanh0과 같았으며 신경망에서 더 깊은 계층에서의 학습이 더 빠르다는 데 도움이 되었기 때문입니다. Relu이 특성이 없지만 파생적 이점을 제쳐두고 왜 그렇게 잘 작동합니까? 또한 파생 상품도 영향을받을 수 있습니다. 활성화 (출력의Relu)는 업데이트 규칙을 계산하는 데 관여합니다.

ReLu의 가장 큰 장점은 실제로 그레디언트의 비포 화로 시그 모이 드 / tanh 함수 ( Krizhevsky 등의 논문) 에 비해 확률 적 그래디언트 디센트의 수렴을 크게 가속화합니다 .

그러나 이것이 유일한 이점은 아닙니다. 다음 은 ReLu 활성화 및 유도 된 정규화의 희소성 효과에 대한 설명입니다. 또 다른 좋은 특성은 값 비싼 연산 (지수 등)을 포함하는 tanh / sigmoid 뉴런과 비교할 때 ReLU는 단순히 0의 활성화 매트릭스를 임계 값으로 지정하여 구현할 수 있다는 것입니다.

그러나 나는 현대 신경 네트워크의 큰 성공이 ReLu 만으로 인한 것이라고 확신하지 않습니다 . Xavier 초기화, 드롭 아웃 및 (나중에) batchnorm과 같은 새로운 초기화 기술도 매우 중요한 역할을했습니다. 예를 들어 유명한 AlexNet은 ReLu 와 드롭 아웃을 사용했습니다 .

그래서 귀하의 질문에 대답하기 : ReLu은 매우 좋은 특성,하지만이 없는 이상적 . 그러나 그것은 다른 위대한 기술과 결합했을 때 실제로 증명됩니다.이 기술은 당신이 언급 한 제로 중심이 아닌 문제를 해결합니다.

UPD : ReLu 출력은 실제로 제로 중심이 아니며 NN 성능을 저하시킵니다. 그러나이 특별한 문제는 다른 정규화 기법, 예를 들어 batchnorm,에 의해 부딪히는 수 있습니다 활성화하기 전에 신호를 정규화 :

정규화하여 비선형 성 직전에 BN 변환을 추가합니다 . ... 정규화하면 안정적인 분포로 활성화가 생성 될 수 있습니다.$x = Wu+ b$