사실상의 표준 시그 모이 드 함수 인 이 (심층적이지 않은) 신경망과 로지스틱 회귀 분석에서 왜 그렇게 인기가 있습니까?$\frac{1}{1+e^{-x}}$

계산 시간이 빠르거나 감쇄 속도가 느린 다른 많은 파생 함수를 사용하지 않는 이유는 무엇입니까? S 자형 함수에 대한 Wikipedia 에는 몇 가지 예가 있습니다 . 느린 부패와 빠른 계산으로 내가 가장 좋아하는 것 중 하나는 입니다.$\frac{x}{1+|x|}$

편집하다

질문은 왜 '왜'에만 관심이 있고 시그 모이 드에만 관심이 있기 때문에 장단점이있는 신경 네트워크의 활성화 기능 목록과 다릅니다 .

다른 질문에 대한 이 답변 에서 인용 :

패턴 인식 및 기계 학습 (Springer 2006)의 4.2 섹션 에서 Bishop은 로짓이 2 클래스 분류의 베이지안 처리에서 사후 확률 분포의 형태로 자연스럽게 발생 함을 보여줍니다. 그런 다음 이산 형 분산 기능과 지수 분포 제품군의 하위 집합에 대해서도 동일하게 적용됩니다. 다중 등급 분류의 경우로 짓은 정규화 된 지수 또는 softmax 함수로 일반화됩니다.

이것은이 S 자형이 로지스틱 회귀에 사용되는 이유를 설명합니다.

신경망과 관련 하여이 블로그 게시물 에서는 로짓 / 소프트 맥스 및 신경망에 사용 된 프로 빗을 비롯한 다양한 비선형성에 통계적 해석과 동기 부여를 제공하는 방법에 대해 설명합니다. 근본적인 아이디어는 다층 신경망이 일반화 된 선형 모델의 계층으로 간주 될 수 있다는 것입니다. 이것에 따르면, 활성화 함수는 링크 함수이며, 다른 분배 가정에 해당합니다.

이 함수가 다른 함수보다 "자연스러워"보일 수있는 한 가지 이유는 이것이 Bernoulli 분포의 정식 모수의 역수이기 때문입니다. 지수 내p 의 기능을표준 매개 변수라고합니다.

$$\begin{align} f(y) &= p^y (1 - p)^{1 - y} \\ &= (1 - p) \exp \left \{ y \log \left ( \frac{p}{1 - p} \right ) \right \} . \end{align}$$ $p$

정보 이론에서 더 설득력있는 정당화가있을 수 있으며, 여기서 시그 모이 드 함수는 최대 엔트로피 모델 로 도출 될 수 있습니다 . 대략적으로, 시그 모이 드 함수는 최소 구조를 가정하고 기본 모델에 대한 일반적인 무지 상태를 반영합니다.

나는 몇 달 동안 나 자신 에게이 질문을했다. CrossValidated 및 Quora에 대한 답변은 모두 로지스틱 시그 모이 드 함수의 훌륭한 속성을 나열하지만이 함수를 영리하게 추측 한 것처럼 보입니다. 내가 놓친 것은 그것을 선택하기위한 정당화였습니다. 마지막 으로 Bengio (2016) 의 "Deep Learning"책 의 6.2.2.2 섹션에서 하나를 찾았습니다 . 내 말로는 :

즉, 모델 출력의 로그가 훈련 데이터의 로그 우도에 대한 기울기 기반 최적화에 적합하기를 원합니다.

동기

• 우리는 선형 모델을 원하지만 $z = w^T x + b$ 를 $z \in (-\infty, +\infty)$ 로 직접 사용할 수는 없습니다 .
• 분류의 경우 Bernoulli 분포를 가정하고 P ( Y = 1 ) = θ 에서 모수 $\theta$ 를 모델링하는 것이 좋습니다 .$P(Y=1) = \theta$
• 따라서 분류를 수행하려면 $z$ 를 $(-\infty, +\infty)$ 에서 $[0, 1]$ 로 매핑해야합니다 .

왜 로지스틱 시그 모이 드 기능인가?

절단 $z$ 와 $P(Y=1|z) = max\{0, min\{1, z\}\}$ 에 대한 제로 기울기 산출 $z$ 외부 $[0, 1]$ . 그라디언트 디센트로 로지스틱 회귀를 해결하기 때문에 모델의 예측이 잘못 될 때마다 강한 그라디언트가 필요합니다. 로지스틱 회귀 분석의 경우 닫힌 양식 솔루션이 없습니다.

로지스틱 함수는 모델의 예측에 최대 가능성 추정을 사용하여 모델의 예측이 잘못되었을 때 상수 기울기를 점진적으로 표현하는 훌륭한 속성을 갖습니다. 이것은 아래와 같습니다 :

수치 적 이점의 경우, 훈련 데이터의 음의 로그 가능성을 최소화하여 최대 가능성 추정을 수행 할 수 있습니다. 따라서 비용 함수는 다음과 같습니다.

$$\begin{align} J(w, b) &= \frac{1}{m} \sum_{i=1}^m -\log P(Y = y_i | x_i; w, b) \\ &= \frac{1}{m} \sum_{i=1}^m - \big(y_i \log P(Y=1 | z) + (y_i-1)\log P(Y=0 | z)\big) \end{align}$$

이후 $P(Y=0 | z) = 1-P(Y=1|z)$ , 우리는에 집중할 수 $Y=1$ 의 경우. 따라서 문제는 z = w T x + b 가 주어지면 $P(Y=1 | z)$ 를 모델링하는 방법 입니다.$z = w^T x + b$

z 에 P를 맵핑 하는 함수 $f$( Y = 1 | z )에 대한 명백한 요구 사항 은 다음과 같습니다.$z$$P(Y=1 | z)$

• $\forall z \in \mathbb{R}: f(z) \in [0, 1]$
• $f(0) = 0.5$
• $f$ 는 회전 대칭 wrt$(0, 0.5)$ , 즉$f(-x) = 1-f(x)$ 여야하므로 클래스의 부호를 뒤집는 것이 비용 함수에 영향을 미치지 않습니다.
• $f$ 감소하지 않고 지속적이며 차별화 할 수 있어야합니다.

이러한 요구 사항은 모두 시그 모이 드 기능의 크기를 조정하여 충족됩니다 . 모두 $f(z) = \frac{1}{1 + e^{-z}}$ 및$f(z) = 0.5 + 0.5 \frac{z}{1+|z|}$그들을 성취하십시오. 그러나, 시그 모이 드 함수는 로그 가능성의 그래디언트 기반 최적화 중에 동작에 따라 다릅니다. 로지스틱 함수f(z)=1을 연결하여 차이를 볼 수 있습니다.$f(z) = \frac{1}{1 + e^{-z}}$우리의 비용 함수에 1 + e - z가 포함 됩니다.

Y = 1의 채도$Y=1$

들면 $P(Y=1|z) = \frac{1}{1 + e^{-z}}$ 및$Y=1$이면 잘못 분류 된 단일 샘플의 비용 (예 :$m=1$)은 다음과 같습니다.

$$\begin{align} J(z) &= -\log(P(Y=1|z)) \\ &= -\log(\frac{1}{1 + e^{-z}}) \\ &= -\log(\frac{e^z}{1+e^z}) \\ &= -z + \log(1 + e^z) \end{align}$$

$-z$

• $z$$Y=1$$\log(1 + e^z)$$z$$z$$-z$
• $z$$|z|$$Y=1$$\log(1 + e^z)$$0$$z$$-z$$z$$-1$$z$, 채도가 진행되지 않아 사라지는 그라디언트가 발생합니다.

채도$Y=0$

$Y=1$$Y=0$

$J(z)$$Y=1$

$Y=0$

대안

로지스틱 S 자형 함수에 대한 대안 (예 : 을 언급했습니다.$\frac{z}{1+|z|}$$[0,1]$$P(Y=1|z) = 0.5 + 0.5 \frac{z}{1+|z|}$

$Y=1$

$J(z) = - \log (0.5 + 0.5 \frac{z}{1+|z|})$

이것은 다음과 같습니다

$z \rightarrow - \infty$

원래의 질문에 붕괴 그라디언트 문제가 언급되었으므로 중간 계층 (활성화를 클래스 확률 또는 회귀 출력으로 해석 할 필요가없는 경우)의 경우, 다른 비선형 성이 종종 S 자형 함수보다 선호됩니다. 가장 두드러진 것은 정류기 기능 ( ReLUs 에서와 같이 )이며, 양의 도메인에서 선형이고 음의 경우 0입니다. 이들의 장점 중 하나는 미분 값이 양의 도메인에 대해 일정하기 때문에 감쇠 기울기 문제의 영향이 적다는 것입니다. ReLU는 시그 모이 드가 더 이상 사실상의 표준이라고 할 수 없을 정도로 인기가 높아졌습니다.

Glorot et al. (2011) . 깊은 스파 스 정류기 신경망