«activation-function» 태그된 질문

필요한 출력과 내가 알고있는 활성화 기능의 속성에 따라 출력 레이어의 활성화 기능을 선택합니다. 예를 들어, 확률을 다룰 때는 시그 모이 드 함수, 양의 값을 다룰 때는 ReLU, 일반 값을 다룰 때는 선형 함수를 선택합니다. 숨겨진 층에서는 누수 ReLU를 사용하여 ReLU 대신 죽은 뉴런을 피하고 S 자형 대신 tanh를 피합니다. 물론 …

13 neural-networks  machine-learning  math  activation-function 

ReLU, S 자형 또는 탄탄\tanh. 활성화 기능을 혼합하면 어떻게됩니까? 최근 Google에서 (x * sigmoid) Swish 활성화 기능을 개발했습니다. 활성화 기능을 변경하여 XOR 문제와 같은 작은 신경망 문제에서 정확도를 높일 수 있습니까?

10 neural-networks  machine-learning  activation-function  relu  sigmoid 

신경망에서 활성화 된 뉴런과 총 뉴런의 비율 인 뉴런 범위의 개념을 우연히 발견했습니다. 그러나 뉴런이 "활성화"되었다는 것은 무엇을 의미합니까? 활성화 기능이 무엇인지 알고 있지만 ReLU 또는 S 자형 기능의 경우 활성화되는 것은 무엇을 의미합니까?

10 neural-networks  ai-basics  concepts  activation-function 

ReLU 대신 Leaky ReLU를 사용하는 이점은 이런 방식으로 사라지는 그라디언트를 가질 수 없다는 것입니다. 파라 메트릭 ReLU는 네가티브 입력에 대한 출력의 기울기가 학습 가능한 매개 변수 인 반면, Leaky ReLU에서는 하이퍼 파라미터라는 유일한 차이점과 동일한 장점이 있습니다. 그러나 Leaky ReLU 또는 Parametric ReLU 대신 ReLU를 사용하는 것이 더 편리한 경우가 …

10 neural-networks  activation-function  relu