ReLU 활성화 기능의 미분은 무엇입니까?

R e L U (x) = m a x (0, x)

$\mathrm{ReLU}(x) = \mathrm{max}(0, x)$

에서 함수에 불연속성이있는 특수한 경우는 어떻습니까? $x=0$

self-study neural-networks

— 톰 헤일
소스

파생 상품은 다음과 같습니다.

f (x) = {\begin{cases} 0 & if x < 0 \\ 1 & if x > 0 \end{cases}

$f(x)= \begin{cases} 0 & \text{if } x < 0 \\ 1 & \text{if } x > 0 \\ \end{cases}$

그리고 정의되어 있지 않습니다 . $x=0$

에서 정의되지 않은 이유 는 왼쪽과 오른쪽 미분 이 같지 않기 때문입니다. $x=0$

— 짐
소스

0

$0$

1

$1$

x = 0

$x=0$

컨벤션은 drdx = 1 (x> 0)

— neuroguy123

@TomHale 사용하지 않는 이유

f (0) = \frac{1}{2}

$f(0) = \frac{1}{2}$

그런데 @TomHale은 quora.com/에서 Nouroz Rahman의 답변을 참조하십시오 : "[...] 내 견해로는 내장 라이브러리 함수 (예 :) 에서 x = 0의 미분은 0을 취하여 스파 저 를 만듭니다 . matrix ... "tf.nn.relu()

— Jim