«batch-normalization» 태그된 질문

최근에는 레이어 정규화 용지가 있습니다. Keras 에도 구현되어 있습니다 . 그러나 Recurrent Batch Normalization (Cooijmans, 2016) 및 Batch Normalized Recurrent Neural Networks (Laurent, 2015) 라는 제목의 논문이 있습니다 . 이 세 가지의 차이점은 무엇입니까? 이해가 안되는 관련 작업 섹션이 있습니다. 배치 정규화는 이전에 반복적 인 신경망으로 확장되었다 [Laurent et al., …

30 deep-learning  rnn  normalization  batch-normalization 

배치 정규화와 ReLU는 모두 사라지는 기울기 문제에 대한 솔루션입니다. 배치 정규화를 사용하는 경우 시그 모이 드를 사용해야합니까? 또는 batchnorm을 사용할 때에도 가치가있는 ReLU 기능이 있습니까? batchnorm에서 수행 된 정규화는 0의 활성화를 마이너스로 전송한다고 가정합니다. 이것은 batchnorm이 "dead ReLU"문제를 해결한다는 의미입니까? 그러나 탄과 물류의 지속적인 특성은 여전히 ​​매력적입니다. batchnorm을 사용하는 경우 …

9 deep-learning  batch-normalization