포화 비선형 성이라는 용어는 무엇을 의미합니까?

나는 Deep Convolutional Neural Networks를 사용한 ImageNet 분류를 읽고 있었고 3 장에서는 Convolutional Neural Network의 아키텍처를 설명하고 그들이 어떻게 사용하는 것이 바람직한 지 설명했습니다.

비 포화 비선형 성 $f(x) = max(0, x).$

훈련하는 것이 더 빠르기 때문입니다. 이 논문에서 그들은 포화 비선형 성을 CNN, 시그 모이 드 및 쌍곡 탄젠트 함수 (즉, $f(x) = tanh(x)$ 및 에서 사용되는보다 전통적인 함수라고 함 $f(x) = \frac{1}{1 + e^{-x}} = (1 + e^{-x})^{-1}$ 포화 등).

왜 이러한 기능을 "포화"또는 "비 포화"라고 표시합니까? 이 기능은 어떤 의미에서 "포화"또는 "비 포화"입니까? 컨볼 루션 신경망의 맥락에서이 용어들은 무엇을 의미합니까? 머신 러닝 (및 통계)의 다른 영역에서 사용됩니까?

— 찰리 파커
소스

또한 이 quora 답변이 매우 유용 하다는 것을 알았습니다 .

— 프랭크

답변:

직관

포화 활성화 기능은 입력을 압박합니다.

정의

$f$ $(|\lim_{z\to-\infty} f(z)| = +\infty) \vee (|\lim_{z\to+\infty} f(z)| = +\infty)$
$f$ $f$

이러한 정의는 컨볼 루션 신경망에만 국한되지 않습니다.

예

$f(x)=max(0,x)$ $\lim_{z\to+\infty} f(z) = +\infty$

로 정의 된 S 자형 활성화 함수 $f(x) = \frac{1}{1 + e^{-x}}$ $[0,1]$

$[-1,1]$

(피겨는 CS231n , MIT 라이센스)

— 프랭크 데논 코트
소스

아, 괜찮아요! 나는 이것이 내 원래의 질문이 아니라는 것을 알고 있지만 ML과 CNN의 맥락에서 그 속성이 중요한 것은 무엇입니까?

— Charlie Parker

ANN의 경우 ANN의 출력 레이어에 너무 많은 영향을주는 큰 출력을 가진 하나의 장치를 사용하지 마십시오.

— Franck Dernoncourt

tan과 sigmoid의 차이점은 무엇입니까? 둘 다 닫힌 범위에서 숫자를 스쿼시합니다! 이해가 안 돼요. 좀 더 자세히 설명해 주시겠습니까? 나는 수학에 나쁘다. (내가 CNN 관점에서 오는 방식으로)

— Rika

@FranckDernoncourt 당신은 tanh 활성화 기능에 대한 포화를 의미 했습니까? 오타가있는 것 같아요? :)

— CoderSpinoza

@tenCupMaximum : 채도 란 더 이상 추가 할 수없는 지점까지 채우는 것을 의미합니다. 포화 함수의 맥락에서, 이는 특정 시점 이후에 함수 입력의 추가 증가가 더 이상 최대의 값에 도달 한 출력을 (의미 적으로) 증가시키지 않음을 의미합니다. 그 시점의 기능은 "모두 채워져"말하자면 (또는 포화 )입니다.

— Ruben van Bergen

가장 일반적인 활성화 기능은 LOG 및 TanH입니다. 이 함수는 범위가 작기 때문에 신경 반응을 실수의 제한된 하위 집합으로 압축합니다. LOG는 입력을 0과 1 사이의 출력, TAN H와 -1과 1 사이의 압축으로 압축합니다.이 기능은 경계에서 제한 동작을 표시합니다.

경계에서 입력 ∂yj / ∂xj에 대한 출력 기울기는 매우 작습니다. 따라서 그라디언트는 작으므로 수렴하는 작은 단계이므로 더 긴 수렴 시간이 필요합니다.

— 프라 디 KL
소스