신경망의 뉴런이 활성화된다는 것은 무엇을 의미합니까?

신경망에서 활성화 된 뉴런과 총 뉴런의 비율 인 뉴런 범위의 개념을 우연히 발견했습니다. 그러나 뉴런이 "활성화"되었다는 것은 무엇을 의미합니까? 활성화 기능이 무엇인지 알고 있지만 ReLU 또는 S 자형 기능의 경우 활성화되는 것은 무엇을 의미합니까?

뉴런은 출력이 임계 값보다 클 때 활성화되며 일반적으로 0입니다.

예를 들어 :

$$\begin{equation} y = Relu(a) > 0 \end{equation}$$ 언제 $$\begin{equation} a = w^Tx+b > 0 \end{equation}$$

S 자형 또는 다른 활성화 기능도 마찬가지입니다.

"활성화 된"이라는 용어는 활성화 기능에 대한 입력이 특정 임계 값보다 큰 경우에만 값 (0 제외)을 출력하는 활성화 기능에 대해 이야기 할 때 주로 사용됩니다.

특히 ReLU를 논의 할 때 "활성화 된"이라는 용어가 사용될 수 있습니다. ReLU는 출력이 0보다 클 때 "활성화"되며, 입력이 0보다 클 때도 활성화됩니다.

sigmoid와 같은 다른 활성화 함수는 항상 0보다 큰 값을 반환하며 특별한 임계 값을 갖지 않습니다. 따라서 "활성화 된"이라는 용어는 여기서 덜 의미가 있습니다.

비록 우리가 그들에 대해 거의 알지 못하지만, 뇌의 뉴런은 또한 일종의 "활성화 트레스 홀드 (activation treshold)"를 가진 활성화 기능과 유사한 것을 가지고있는 것 같습니다.