손실 함수의 2 차 근사 (딥 러닝 북, 7.33)

딥 러닝에 관한 Goodfellow (2016)의 저서에서 그는 L2 정규화 ( https://www.deeplearningbook.org/contents/regularization.html 247 쪽) 의 조기 중지와 동등한 내용에 대해 이야기했습니다 .

비용 함수 의 2 차 근사값 은 다음과 같습니다.$j$

$$\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*)$$

여기서 는 헤 시안 행렬입니다 (식 7.33). 이 중간 용어가 누락 되었습니까? Taylor 확장은 다음과 같아야합니다. $H$

$$f(w+\epsilon)=f(w)+f'(w)\cdot\epsilon+\frac{1}{2}f''(w)\cdot\epsilon^2$$

그들은 최적의 무게에 대해 이야기합니다.

경험적으로 최적 의 가중치 부근에서 2 차 근사로 비용 함수 를 모델링 할 수 있습니다.$J$$w^∗$

이 시점에서 첫 번째 미분 값은 0이므로 중간 항은 제외됩니다.