신경망에서의 교차 엔트로피 비용 함수

이 자습서 에서 볼 수있는 교차 엔트로피 비용 함수를보고 있습니다 .

$$C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)]$$

정확히 무엇을 요약합니까? 그것은 이상 물론, ,하지만 와 변경되지 않습니다 . 의 모든 의는 하나에 입력입니다 . 는 방정식 위의 단락에서 모든 와 의 합의 함수로 정의되기도합니다 . $x$$y$$a$$x$$x$$a$$a$$w$$x$

또한 은이 특정 뉴런에 대한 입력 수로 정의됩니다. 맞습니까? 그것은으로 모호하게한다 "훈련 데이터의 총 항목 수" .$n$

---

편집하다:

내가 생각하는 것이 맞습니까?

$$C= -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)]$$

전체 네트워크의 비용 함수가되는 반면

$$C = [y \ln a+(1−y)\ln(1−a)]$$

개별 뉴런의 비용은 얼마입니까? 합계가 각 출력 뉴런 위에 있어야합니까?

교차 엔트로피 손실을 표현하는 방법은 다음과 같습니다 .

$$\mathcal{L}(X, Y) = -\frac{1}{n} \sum_{i=1}^n y^{(i)} \ln a(x^{(i)}) + \left(1 - y^{(i)}\right) \ln \left(1 - a(x^{(i)})\right)$$

여기서 는 학습 데이터 집합의 입력 예제 집합이며 는 해당 입력 예에 해당하는 레이블 세트입니다. 신경망 주어진 입력의 출력을 나타내고 .$X = \left\{x^{(1)},\dots,x^{(n)}\right\}$$Y=\left\{y^{(1)},\dots,y^{(n)} \right\}$$a(x)$$x$

각각의 0 또는 1이고, 활성화 출력 통상적으로 이용하여 개방 구간 (0, 1)로 제한된다 물류를 S 자형 . 예를 들어, 로지스틱 회귀에 해당하는 1 계층 네트워크의 경우 활성화는 로 주어집니다 여기서 는 a 가중치 행렬 및 는 바이어스 벡터입니다. 여러 계층의 경우 활성화 기능을 여기서 와 는 첫 번째 레이어의 가중치 행렬 및 바이어스이며$y^{(i)}$$a(x)$

$$a(x) = \frac{1}{1 + e^{-Wx-b}}$$ $W$$b$ $$a(x) = \frac{1}{1 + e^{-Wz(x)-b}} \\ z(x) = \frac{1}{1 + e^{-Vx-c}}$$ $V$$c$$z(x)$ 네트워크에서 숨겨진 계층의 활성화입니다.

나는 Andrew Ng의 기계 학습 과정에서 매우 효과적이라는 것을 알기 때문에 예를 나타 내기 위해 (i) 위첨자를 사용했습니다. 때로는 사람들이 예제를 행렬의 열이나 행으로 표현하지만 아이디어는 동일하게 유지됩니다.

정확히 무엇을 요약합니까?

튜토리얼은 실제로 매우 명시 적입니다.

... 은 교육 데이터의 총 항목 수이며, 합계는 모든 교육 입력에 대한 것입니다 ...$n$

튜토리얼 (식 57)에 주어진 원래의 단일 뉴런 비용 함수 는 아래에 첨자를 가지고 있습니다. 단일 신경 세포의 경우에 아무것도 계산할 때 우리는 이미 모든 입력 가중치 합산하기 때문에, 훈련 예 외에 이상 합계 다른 사람이 없다 :$x$$\Sigma$$a$

$$a = \sum_{j} w_jx_j.$$

---

같은 튜토리얼에서 나중에 Nielsen은 멀티 레이어, 다중 뉴런 네트워크 (수식 63)에 대한 비용 함수에 대한 표현을 제공합니다.

$$C = -\frac{1}{n}\sum_{x}\sum_{j}[ y_j \ln a^{L}_{j} + (1 - y_j) \ln (1 - a^{L}_{j})].$$

이 경우 합은 출력 예 ( 's) 에서 훈련 예 ( 's)와 개별 뉴런 모두에 적용 됩니다.$x$$j$