1 활성화 기능을 혼합하면 어떻게됩니까? ReLU, S 자형 또는 탄탄\tanh. 활성화 기능을 혼합하면 어떻게됩니까? 최근 Google에서 (x * sigmoid) Swish 활성화 기능을 개발했습니다. 활성화 기능을 변경하여 XOR 문제와 같은 작은 신경망 문제에서 정확도를 높일 수 있습니까? 10 neural-networks machine-learning activation-function relu sigmoid
1 ReLU vs Leaky ReLU 및 Parametric ReLU의 장점은 무엇입니까? ReLU 대신 Leaky ReLU를 사용하는 이점은 이런 방식으로 사라지는 그라디언트를 가질 수 없다는 것입니다. 파라 메트릭 ReLU는 네가티브 입력에 대한 출력의 기울기가 학습 가능한 매개 변수 인 반면, Leaky ReLU에서는 하이퍼 파라미터라는 유일한 차이점과 동일한 장점이 있습니다. 그러나 Leaky ReLU 또는 Parametric ReLU 대신 ReLU를 사용하는 것이 더 편리한 경우가 … 10 neural-networks activation-function relu