목적 함수와 출력 레이어 활성화 기능 사이의 연결은 얼마나 유연합니까?

많은 신경망 패키지에서 목표 계층과 출력 계층의 활성화 기능이 최소화되도록 쌍을 이루는 것이 표준으로 보입니다.

예를 들어, 회귀에 사용되는 선형 출력 레이어의 경우 제곱 오차 목적 함수를 갖는 것이 표준 (및 종종 선택)입니다. 또 다른 일반적인 페어링은 로지스틱 출력 및 로그 손실 (또는 교차 엔트로피)입니다. 또 다른 하나는 softmax 및 multi log loss입니다.

표기법, 를 사용하여 사전 활성화 값 (이전 레이어에서 가중치를 곱한 횟수의 합), , 활성화에 대한 , 훈련에 사용되는지면 진실에 대한 , 출력 뉴런의 인덱스에 를 사용합니다 .$z$$a$$y$$i$

• 선형 활성화 는 제곱 오차$a_i=z_i$$\frac{1}{2} \sum\limits_{\forall i} (y_i-a_i)^2$

• S 활성화 는 logloss / cross-entropy objective-$a_i = \frac{1}{1+e^{-z_i}}$$-\sum\limits_{\forall i} (y_i*log(a_i) + (1-y_i)*log(1-a_i))$

• Softmax 활성화 는 멀티 클래스 로그 로스 목표$a_i = \frac{e^{z_i}}{\sum_{\forall j} e^{z_j}}$$-\sum\limits_{\forall i} (y_i*log(a_i))$

그것들은 내가 아는 것들이며, 아직 들어 보지 못한 것들이 많이있을 것으로 기대합니다.

출력과 목표가 [0,1] 범위에있을 때 로그 손실이 작동하고 수치 적으로 안정적으로 보입니다. 따라서 logloss objective 함수를 사용하여 선형 출력 레이어를 시도하는 것은 의미가 없을 수 있습니다. 범위를 벗어난 값에 대처할 수있는보다 일반적인 logloss 함수가 없다면 ?$y$

그러나 제곱 오차 목표로 시그 모이 드 출력을 시도하는 것은 그리 나쁘지 않습니다. 적어도 안정적이고 수렴해야합니다.

이러한 쌍을 이루는 디자인 중 일부는 대한 수식을 만드는 것입니다. 여기서 는 목적 함수의 값입니다. 역 전파가 용이합니다. 그러나 여전히 다른 페어링을 사용하여 파생 상품을 찾을 수 있어야합니다. 또한 출력 레이어에 일반적으로 표시되지 않는 다른 많은 활성화 기능이 있지만, 객관적인 기능을 적용 할 수있는 대상 과 같이 명확하지 않은 경우가 있습니다.$\frac{\delta E}{\delta z}$$E$tanh

신경망의 아키텍처를 설계 할 때 "비표준"출력 활성화 및 목적 함수 쌍을 사용해야하는 상황이 있습니까?

어떤 손실 함수를 사용해야하는지 결정하는 활성화 기능이 아니라 출력에 대한 해석이 무엇인지 결정합니다.

결과가 확률로 가정되면 로그 손실이 진행됩니다.

출력이 일반 값이면 평균 제곱 오차가 기본 방법입니다. 예를 들어, 출력이 0에서 1까지의 숫자로 표시된 회색조를 가진 회색조 픽셀 인 경우 평균 제곱 오차 목적 함수와 함께 S 자형 활성화 함수를 사용하는 것이 좋습니다.