LeakyReLU와 PReLU의 차이점은 무엇입니까?

나는 PReLU와 Leaky ReLU가 모두

f (x) = max (x, α x) with α \in (0, 1)

$f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1)$

그러나 Keras 는 docs에 두 기능을 모두 가지고 있습니다 .

새는 ReLU

LeakyReLU의 출처 :

return K.relu(inputs, alpha=self.alpha)

따라서 ( relu 코드 참조 )

f_{1} (x) = max (0, x) - α max (0, - x)

$f_1(x) = \max(0, x) - \alpha \max(0, -x)$

PRELU

PReLU의 소스 :

def call(self, inputs, mask=None):
    pos = K.relu(inputs)
    if K.backend() == 'theano':
        neg = (K.pattern_broadcast(self.alpha, self.param_broadcast) *
               (inputs - K.abs(inputs)) * 0.5)
    else:
        neg = -self.alpha * K.relu(-inputs)
    return pos + neg

따라서

f_{2} (x) = max (0, x) - α max (0, - x)

$f_2(x) = \max(0, x) - \alpha \max(0, -x)$

질문

내가 뭔가 잘못 받았 니? $f_1$ 과 $f_2$ 는 와 동일 하지 않습니다 $f$ ( $\alpha \in (0, 1)$ ?)

neural-network

— 마틴 토마
소스

직선에서 위키 피 디아 :

Leaky ReLU 는 장치가 활성화되지 않은 경우 0이 아닌 작은 기울기를 허용합니다.
파라 메트릭 ReLU 는 누설 계수를 다른 신경망 파라미터와 함께 학습되는 파라미터로 만들어이 아이디어를 더욱 발전시킵니다.

— 토마스여
소스

아, 감사합니다, 나는 항상 새는 ReLUs 가지고 잊지 hyperparameter 및 파라 메트릭 ReLUs대로 매개 변수로.

α

$\alpha$

α

$\alpha$

— Martin Thoma

Google의 경우 : 괜찮습니다 . (Btw, 저에게이 질문은 "Leaky ReLU vs PReLU"의 세 번째 결과입니다)

— Martin Thoma

@MartinThoma 사실! 그것에 대한 전혀 위반이 없습니다! 내가 찾은 방법도 꽤 어리 석았다. 나는 PReLU의 'P'가 무엇인지 몰랐으므로 그것을 알아 낸 다음 'Parametric ReLU'를 입력하여 PReLU가 무엇인지 알아 내려고 시도했습니다. 나는 당신의 질문으로 인해 매일 무언가를 배웠습니다.)

— Thomas W

좋은. 그것이 어떻게되어야하는지 :-)이 경우에 나의 작은 활성화 기능 개요 는 당신에게도 흥미로울 것입니다. 이 기사는 (부분적으로) 독일어로되어 있지만 그 부분은 중요하지 않습니다.

— Martin Thoma