에서 3 주 강의 노트 의 앤드류 응의 코 세라 기계 학습 클래스 , 용어는 정규화를 구현하는 비용 함수에 추가됩니다
J+(θ)=J(θ)+λ2m∑j=1nθ2j
강의 노트는 다음과 같이 말합니다.
모든 세타 매개 변수를 하나의 요약으로 정규화 할 수도 있습니다.
m의 I엔θ 12 M [∑나는 = 1미디엄(hθ(엑스( 나는 )) −와이( 나는 ))2+ λ ∑j = 1엔θ2제이]
12 M 은 나중에 신경망 의 정규화 기간에 적용됩니다 .
정규화 된 로지스틱 회귀에 대한 비용 함수는 다음과 같습니다.
제이( θ ) = −1미디엄∑나는 = 1미디엄[와이( 나는 ) 로그(hθ(엑스( 나는 )) ) + ( 1 −와이( 나는 )) 로그 ( 1 −hθ(엑스( 나는 )) ) ] +λ2 M∑j = 1엔θ2제이
신경망의 경우 약간 더 복잡해집니다.
제이( Θ ) = −1미디엄∑나는 = 1미디엄∑k = 1케이[와이( 나는 )케이로그( (hΘ(엑스( 나는 )))케이) + ( 1 −와이( 나는 )케이) 로그( 1 − (hΘ(엑스( 나는 )))케이) ]+λ2 M∑l = 1L - 1∑나는 = 1에스엘∑j = 1에스l + 1(Θ( l )j , 나는)2
- 왜 상수 반이 여기에 사용됩니까? 미분 에서 취소되도록 ?J′
- 왜 훈련 예제로 구분합니까? 훈련 사례의 양은 사물에 어떤 영향을 미칩니 까?m