이진 분류를 수행하고 싶다고 가정합니다 (뭔가 클래스 A 또는 클래스 B에 속함). 신경망의 출력 레이어에서이를 수행 할 수있는 몇 가지 가능성이 있습니다.

• 1 개의 출력 노드를 사용하십시오. 출력 0 (<0.5)은 클래스 A로 간주되고 1 (> = 0.5)은 클래스 B로 간주됩니다 (시그 모이 드의 경우).

• 2 개의 출력 노드를 사용하십시오. 입력은 가장 높은 값 / 확률 (argmax)을 가진 노드의 클래스에 속합니다.

이에 대해 논의한 논문이 있습니까? 검색 할 특정 키워드는 무엇입니까?

이 질문은이 사이트에서 이미 요청되었습니다. 예를 들어 실제 답변이없는 이 링크 를 보십시오 . 선택 (Master Thesis)을해야하므로 각 솔루션의 장단점에 대한 통찰력을 얻고 싶습니다.

두 번째 경우에는 아마도 softmax 활성화 기능에 대해 쓰고있을 것입니다. 그것이 사실이라면, S 자형보다 소프트 맥스 기능의 특별한 경우 일뿐입니다. 보여주기 쉽다.

$$y = \frac{1}{1 + e ^ {-x}} = \frac{1}{1 + \frac{1}{e ^ x}} = \frac{1}{\frac{e ^ x + 1}{e ^ x}} = \frac{e ^ x}{1 + e ^ x} = \frac{e ^ x}{e ^ 0 + e ^ x}$$

보시다시피 sigmoid는 softmax와 같습니다. 두 개의 출력이 있다고 생각할 수 있지만 그 중 하나는 모든 가중치가 0과 같으므로 출력은 항상 0과 같습니다.

따라서 이진 분류에 대한 더 나은 선택은 더 빨리 업데이트되므로 두 개의 출력 단위를 가진 softmax 대신 sigmoid를 가진 하나의 출력 단위를 사용하는 것입니다.

분류기와 같은 머신 러닝 알고리즘은 여기서 다른 카테고리에 속하는 입력 의 확률 을 결정함으로써 입력 데이터를 통계적으로 모델링합니다 . 임의의 수의 클래스의 경우 일반적으로 softmax 레이어가 모델에 추가되므로 출력은 설계에 따라 확률 적 특성을 갖습니다.

$$\vec{y} = \text{softmax}(\vec{a}) \equiv \frac{1}{\sum_i{ e^{-a_i} }} \times [e^{-a_1}, e^{-a_2}, ...,e^{-a_n}]$$

$$0 \le y_i \le 1 \text{ for all i}$$ $$y_1 + y_2 + ... + y_n = 1$$

여기서, 는 소프트 맥스 층 이전의 층의 활성화이다.$a$

이것은 두 클래스에 대해 완벽하게 유효하지만 출력이 다음을 충족하면 하나의 뉴런 (두 개 대신)을 사용할 수도 있습니다.

$$0 \le y \le 1 \text{ for all inputs.}$$ 위의 조건이 충족되도록 에 를 매핑 변환 (역 전파 목적으로 구분 / 부드럽게)을 적용하면이를 보장 할 수 있습니다 . S 자형 함수는 우리의 기준을 충족시킵니다. 간단한 수학적 표현 외에는 특별한 것이 없습니다.$a$$y$

$$\text{sigmoid}(a) \equiv \sigma(a) \equiv \frac{1}{1+e^{-a}}$$

유용한 수학적 특성 (분화, 0과 1 사이의 경계 등), 계산 효율성 및 네트워크 가중치를 업데이트하면 최적화 목적으로 출력에 작지만 측정 가능한 변화가있을 수 있도록 올바른 기울기를 갖습니다.

결론

softmax와 sigmoid를 보여주는 @itdxer의 추론이 유효한 경우 동등한 지 확실하지 않지만, 더 적은 매개 변수와 계산이 필요하기 때문에 이진 분류기에 대해 2 개의 뉴런과 달리 1 뉴런을 선택하는 것이 옳습니다 . 나는 또한 "불필요하기 때문에"이진 분류기에 두 개의 뉴런을 사용하는 것에 대해 비판을 받았다.