softmax 분류기에서 exp 함수를 사용하여 정규화하는 이유는 무엇입니까?

표준 정규화와 달리 softmax를 사용하는 이유는 무엇입니까? @Kilian Batzner는이 질문에 대한 답변의 의견 영역에서 2 가지 질문을 제기하여 많은 혼란을 겪었습니다. 수치상의 이점을 제외하고는 아무도 설명하지 않는 것 같습니다.

Cross-Entropy Loss를 사용하는 이유를 알지만 softmax와 어떤 관련이 있습니까? "softmax 함수는 예측과 진실 사이의 교차 엔트로피를 최소화하려는 것으로 볼 수 있습니다." 표준 / 선형 정규화를 사용하지만 여전히 교차 엔트로피 손실을 사용한다고 가정하십시오. 그런 다음 교차 엔트로피를 최소화하려고합니다. 그렇다면 수치 적 이점을 제외하고 softmax는 어떻게 교차 엔트로피와 연결되어 있습니까?

확률 론적 관점에 관해서는 : 로그 확률을 보는 동기는 무엇입니까? 추론은 "x를 로그 확률로 해석하기 때문에 우리는 softmax에서 e ^ x를 사용합니다"와 같은 것 같습니다. 우리가 말할 수있는 것과 같은 추론으로, 우리는 x를 log-log-log-probabilities (물론 여기서 과장)로 해석하기 때문에 softmax에서 e ^ e ^ e ^ x를 사용합니다. 나는 softmax의 수치 적 이점을 얻었지만 그것을 사용하는 이론적 동기는 무엇입니까?

그것은 단순한 숫자 이상의 것입니다. softmax에 대한 간단한 알림 :

$$P(y=j | x) = \frac{e^{x_j}}{\sum_{k=1}^K e^{x_k}}$$

여기서 는 클래스 수 와 길이가 같은 입력 벡터입니다 . softmax 함수는 다음과 같은 3 가지 특성이 있습니다. 1. 데이터를 정규화하고 (적절한 확률 분포를 출력 함) 2. 구분할 수 있으며 3. 언급 한 exp를 사용합니다. 몇 가지 중요한 사항 :$x$$K$

1. 손실 기능은 softmax와 직접 관련이 없습니다. 표준 정규화를 사용하고 여전히 엔트로피를 사용할 수 있습니다.

2. "hardmax"기능 (즉, argmax)은 구별 할 수 없습니다. softmax는 출력 벡터의 모든 요소에 대해 최소한의 확률을 제공하므로 크게 구별 할 수 있으므로 softmax에서 "soft"라는 용어가 사용됩니다.

3. 이제 나는 당신의 질문에 도달합니다. softmax 의 는 자연 지수 함수입니다. 정규화 하기 전에 의 그래프와 같이 를 변환합니다 .$e$$x$$e^x$

경우에 0 후 Y는 = 1이 경우, x는 1, 그 다음 , Y는 = 2.7 , 그리고 만약 x가 2이고, 지금 Y는 = 7 ! 큰 걸음! 이것이 정규화되지 않은 로그 점수의 비선형 변환입니다. softmax의 정규화와 결합 된 지수 함수의 흥미로운 특성은 x의 높은 점수 가 낮은 점수보다 훨씬 더 가능성이 높다는 것입니다.$x$$y=1$$x$$y=2.7$$x$$y=7$$x$

예 입니다. 라고 하고 로그 점수 x 는 벡터 [ 2 , 4 , 2 , 1 ] 입니다. 간단한 argmax 함수는 다음을 출력합니다.$K=4$$x$$[2, 4, 2, 1]$

$$[0, 1, 0, 0]$$

argmax는 목표이지만 차별화 할 수 없으며 모델로 학습 할 수 없습니다.

$$[0.2222, 0.4444, 0.2222, 0.1111]$$

그것은 정말로 argmax와는 거리가 멀다! :( 소프트 맥스 출력 :

$$[0.1025, 0.7573, 0.1025, 0.0377]$$

그것은 argmax에 훨씬 더 가깝습니다! 자연 지수를 사용하기 때문에 표준 정규화와 비교할 때 가장 큰 점수의 확률을 크게 높이고 더 낮은 점수의 확률을 줄입니다. 따라서 softmax의 "max"입니다.

베가의 설명 외에도

일반 softmax를 정의합시다 :

$$P(y=j | x) = \frac{\psi^{x_j}}{\sum_{k=1}^K \psi^{x_k}}$$ 여기서$\psi$는 상수> = 1

경우 $\psi=1$ @vega 언급 한 바와 같이, 당신은 argmax에서 꽤 멀다.

이제 $\psi=100$ 이라고 가정 해 봅시다. 이제 argmax에 매우 가까워졌지만 음수 값에는 작은 숫자가 있고 양수에는 큰 숫자가 있습니다. 이 숫자 오버플 부동 소수점 산술 한계 쉽게 (NumPy와 float64 예 최대 한도는 $10^{308}$ ). 그 외에, 선택하더라도 $\psi=e$ 보다 훨씬 작다 $100$ , 프레임 워크 softmax를보다 안정 버전 (상수 모두 분자와 분모 승산 구현해야 $C$ 결과로 발현 할 수 있도록 소형으로되기 때문에) 그런 정밀도.

따라서 argmax를 근사화하기에 충분한 상수를 선택하고 계산에서 이러한 크고 작은 숫자를 표현하기에 충분히 작은 상수를 선택하려고합니다.

그리고 물론, $e$ 에는 꽤 좋은 파생물이 있습니다.

이 질문은 매우 흥미 롭습니다. 나는 정확한 이유를 모르지만 지수 함수의 사용법을 설명하는 데 다음 이유가 사용될 수 있다고 생각합니다. 이 게시물은 통계 역학과 최대 엔트로피 원리에서 영감을 얻었습니다.

I는 함께 예를 사용하여 설명한다 $N$ 의해 구성되는 이미지, $n_1$ 클래스에서 화상 $\mathcal{C}_1$ , $n_2$ 클래스에서 이미지 $\mathcal{C}_2$ , ..., 및 $n_K$ 클래스에서 이미지 $\mathcal{C}_K$ . 그런 다음 신경망이 이미지에 비선형 변환을 적용 할 수 있다고 가정 하여 모든 클래스에 '에너지 수준' $E_k$ 를 할당 할 수 있습니다. 이 에너지는 이미지를 선형 적으로 분리 할 수있는 비선형 스케일에 있다고 가정합니다.

평균 에너지 $\bar{E}$ 는 다음 관계 N ˉ E = K ∑ k = 1 n k E k로 다른 에너지 $E_k$ 와 관련됩니다 .

$$\begin{equation} N\bar{E} = \sum_{k=1}^{K} n_k E_k.\qquad (*) \label{eq:mean_energy} \end{equation}$$

동시에 총 이미지 양을 다음 합계로 계산할 수 있습니다.

$$\begin{equation} N = \sum_{k=1}^{K}n_k.\qquad (**) \label{eq:conservation_of_particles} \end{equation}$$

최대 엔트로피 원리의 주요 아이디어는 해당 클래스의 이미지 수가 주어진 에너지 분포에 대해 가능한 조합의 수가 최대화되도록 분포된다는 것입니다. 더 간단히 말해서 시스템은 클래스 $n_1$ 만 있는 상태가되지 않을 것입니다. 또한 각 클래스에 동일한 수의 이미지가있는 상태도되지 않습니다. 그러나 왜 그렇습니까? 모든 이미지가 한 클래스에 있으면 시스템의 엔트로피가 매우 낮습니다. 두 번째 경우도 매우 부 자연스러운 상황입니다. 중간 정도의 에너지로 더 많은 이미지를, 매우 높고 매우 낮은 에너지로 더 적은 이미지를 가질 가능성이 높습니다.

엔트로피는 $N$ 이미지를 상응하는 에너지 로 $n_1$ , $n_2$ , ..., $n_K$ 이미지 클래스 로 분할 할 수있는 조합 수에 따라 증가합니다 . 이 조합 수는 다항식 계수로 제공됩니다.

$$\begin{equation} \begin{pmatrix} N!\\ n_1!,n_2!,\ldots,n_K!\\ \end{pmatrix}=\dfrac{N!}{\prod_{k=1}^K n_k!}. \end{equation}$$

$N\to \infty$$(*)$$(**)$$\beta$$\alpha$$\mathcal{L}\left(n_1,n_2,\ldots,n_k;\alpha, \beta \right)$

$$\begin{equation} \mathcal{L}\left(n_1,n_2,\ldots,n_k;\alpha, \beta \right) = \dfrac{N!}{\prod_{k=1}^{K}n_k!}+\beta\left[\sum_{k=1}^Kn_k E_k - N\bar{E}\right]+\alpha\left[N-\sum_{k=1}^{K} n_k\right] \end{equation}$$

$N\to \infty$$n_k \to \infty$

$$\begin{equation} \ln n! = n\ln n - n + \mathcal{O}(\ln n). \end{equation}$$

$\ln n!$$n\to \infty$

$n_\tilde{k}$

$$\dfrac{\partial \mathcal{L}}{\partial n_\tilde{k}}=-\ln n_\tilde{k}-1-\alpha+\beta E_\tilde{k}.$$

이 부분 도함수를 0으로 설정하면

$$n_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\exp(1+\alpha)}. \qquad (***)$$

$(**)$

$$\exp(1+\alpha)=\dfrac{1}{N}\sum_{k=1}^K\exp(\beta E_k).$$

$(***)$

$$n_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\dfrac{1}{N}\sum_{k=1}^K\exp(\beta E_k)}.$$

$n_\tilde{k}/N$$\mathcal{C}_\tilde{k}$$p_\tilde{k}$

$$p_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\sum_{k=1}^K\exp(\beta E_k)}.$$

$\beta E_\tilde{k}=\boldsymbol{w}^T_k\boldsymbol{x}$$k^{\text{th}}$