Convolutional Neural Networks for Visual Recognition 에 대한 Stanford 과정 노트를 참조하면 다음 과 같은 단락이 있습니다.

"안타깝게도 ReLU 장치는 훈련 중에 깨지기 쉬우 며"사라질 수 있습니다 ". 예를 들어, ReLU 뉴런을 통해 흐르는 큰 기울기는 뉴런이 데이터 포인트에서 다시 활성화되지 않는 방식으로 가중치가 업데이트되도록 할 수 있습니다. 예를 들어, ReLU 장치는 데이터 매니 폴드에서 노크 될 수 있기 때문에 훈련 중에 비가 역적으로 죽을 수 있습니다. 학습률이 너무 높게 설정되어 있으면 네트워크의 %가 "죽음"(즉, 전체 교육 데이터 세트에서 활성화되지 않는 뉴런) 일 수 있습니다. 학습률을 올바르게 설정하면 문제가 덜 발생합니다. "

여기서 뉴런이 죽는 것은 무엇을 의미합니까?

더 간단한 용어로 직관적 인 설명을 제공해 주시겠습니까?

"데드 (dead)"ReLU는 모든 입력에 대해 항상 동일한 값 (0은 발생하지만 중요하지는 않음)을 출력합니다. 아마도 이것은 가중치에 대한 큰 음의 바이어스 용어를 학습함으로써 달성됩니다.

즉, 입력을 구별하는 데 아무런 역할도하지 않습니다. 분류를 위해 가능한 모든 입력 데이터 외부 의 결정 평면으로이를 시각화 할 수 있습니다 .

ReLU가이 상태에서 종료되면 0에서의 함수 기울기도 0이므로 기울기 하강 학습이 가중치를 변경하지 않으므로 복구 할 가능성이 없습니다. 음의 입력에 대한 작은 양의 기울기가있는 "누설"ReLU ( y=0.01xx <0 인 경우)는이 문제를 해결하고 복구 할 수있는 기회 중 하나입니다.

S 자형 및 tanh 뉴런은 그 값이 포화 됨과 유사한 문제를 겪을 수 있지만, 장기적으로 회복 할 수 있도록 최소한 작은 기울기가 항상있다.

ReLU (Rectified Linear Unit)가 어떻게 보이는지 살펴 보겠습니다.

$x_n$

$$z_n=\sum_{i=0}^k w_i a^n_i$$ $w_i$$a^n_i$$x_n$$ReLU = max(0,z_n)$

매우 간단한 오차 측정 가정

$$error = ReLU - y$$

$$\frac{\partial error}{\partial z_n} = \delta_n = \left\{ \begin{array}{c l} 1 & z_n \geq 0\\ 0 & z_n < 0 \end{array}\right.$$ $w_j$ $$\nabla error = \frac{\partial error}{\partial w_j}=\frac{\partial error}{\partial z_n} \times \frac{\partial z_n}{\partial w_j} = \delta_n \times a_j^n = \left\{ \begin{array}{c 1} a_j^n & z_n \geq 0\\ 0 & z_n < 0 \end{array}\right.$$

$=$$x_n$

$x_n$$x_*$

$z_n < 0$

$ReLU=max(0.1x,x)$

ReLU 뉴런은 0을 출력하고 모든 음의 입력에 대해 미분 값을 갖지 않습니다. 따라서 네트워크의 가중치가 항상 ReLU 뉴런에 부정적인 입력을 유발하는 경우 해당 뉴런은 효과적으로 네트워크의 훈련에 기여하지 않습니다. 수학적으로 해당 뉴런에서 나오는 가중치 업데이트에 대한 기울기 기여는 항상 0입니다 (자세한 내용은 수학 부록을 참조하십시오).

$L(W)$$L$$L$$W$$L$

일반적으로 발생하는 일은 정보가 네트워크를 통해 흐르는 방식에 따라 다릅니다. 훈련이 진행됨에 따라 뉴런이 생성하는 값이 변동될 수 있고 가중치가 일부 데이터 흐름을 통해 모든 데이터 흐름을 중단시킬 수 있다고 상상할 수 있습니다. (때로는 네트워크 초기의 무게 업데이트로 인해 이러한 구성이 바람직하지 않을 수도 있습니다!). 나는 무게 초기화 ( 이 문제에 기여할 수 있음)와 데이터 흐름과의 관계 에 대한 블로그 게시물 에서이 아이디어를 탐구 했다. 내 요점은 그 기사의 플롯으로 설명 할 수 있다고 생각합니다.

플롯은 서로 다른 초기화 전략으로 네트워크를 통과 한 후 ReLU 활성화와 함께 5 레이어 다중 계층 Perceptron에서 활성화를 표시합니다. 가중치 구성에 따라 네트워크 출력이 차단 될 수 있음을 알 수 있습니다.

수학 부록

$L$$x_j^{(i)}$$j$$i$$f(s) = \max(0, s)$$s^{(i)}_j$$(i+1)$$i$$(i+1)$

$$\frac{\partial L}{\partial w_{jk}^{(i)}} = \frac{\partial L}{\partial x_k^{(i+1)}} \frac{\partial x_k^{(i+1)}}{\partial w_{jk}^{(i)}}\,.$$

오른쪽의 첫 번째 용어는 재귀 적으로 계산 될 수 있습니다. 오른쪽의 두 번째 용어는 무게와 직접 관련된 유일한 장소 이며$w_{jk}^{(i)}$

$$\begin{align*} \frac{\partial{x_k^{(i+1)}}}{\partial w_{jk}^{(i)}} &= \frac{\partial{f(s^{(i)}_j)}}{\partial s_j^{(i)}} \frac{\partial s_j^{(i)}}{\partial w_{jk}^{(i)}} \\ &=f'(s^{(i)}_j)\, x_j^{(i)}. \end{align*}$$

이를 통해 출력이 항상 음수이면 뉴런으로 이어지는 가중치가 업데이트되지 않으며 뉴런이 학습에 기여하지 않음을 알 수 있습니다.

언어에 좀 더 구체적으로 말하면, ReLU의 로컬 그래디언트 ( ) 는 역전 파로 인해 역류하는 그래디언트를 곱하는 반면 업데이트 된 그래디언트의 결과는 큰 음수 일 수 있습니다. 다시 큰 음수입니다).$1$

학습률이 상대적으로 클 때 이러한 큰 음의 업데이트 된 그라디언트는 큰 음의 생성 뉴런에서 발생할 업데이트를 억제 할 것입니다. " .$w_i$$w_i$

"Dying ReLU"는 학습 세트의 데이터에 대해 0을 출력하는 뉴런을 나타냅니다. 뉴런 의 가중치 * 입력 ( 활성화 라고도 함 )이 모든 입력 패턴에 대해 <= 0 이되기 때문에 발생 합니다. 이로 인해 ReLU는 0을 출력합니다.이 경우 ReLU의 미분은 0이므로 가중치를 업데이트하지 않고 뉴런은 0을 출력 할 때 멈 춥니 다.

참고 사항 :

1. 죽어 ReLU가 뉴런의 출력이 테스트 시간에도 0으로 유지된다는 것을 의미하지는 않습니다. 분포 차이에 따라, 그렇지 않을 수도 있습니다.
2. 죽어가는 ReLU는 영구적으로 죽지 않았습니다. 새로운 훈련 데이터를 추가하거나 새로운 훈련을 위해 사전 훈련 된 모델을 사용하면 이러한 뉴런이 반동 할 수 있습니다 !
3. 기술적으로 죽어가는 ReLU는 모든 훈련 데이터에 대해 0을 출력 할 필요는 없습니다. 일부 데이터의 경우 0이 아닌 값을 출력하지만 에포크 수는 가중치를 크게 이동시키기에 충분하지 않을 수 있습니다.