코스 라 머신 러닝 코스 당 정규화 된 선형 회귀 비용 함수 도출

나는 몇 개월 전에 코스 트라를 통해 앤드류 응 (Andrew Ng)의 "머신 러닝 (Machine Learning)"과정을 수강했고, 대부분의 수학 / 유도에주의를 기울이지 않고 구현과 실용성에 중점을 두었습니다. 그 이후로 나는 기본 이론의 일부를 연구하기 시작했고 Ng 교수의 강의를 다시 방문했다. 나는 "Regularized Linear Regression"에 대한 강의를 읽고 그가 다음과 같은 비용 함수를 주었다는 것을 보았습니다.

$$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$$

그런 다음이 비용 함수에 대해 다음과 같은 기울기를 제공합니다.

$$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j - \lambda\theta_j]$$

나는 그가 어떻게 다른 사람을 얻는 지에 대해 약간 혼란스러워합니다. 내 파생을 시도했을 때 다음과 같은 결과가 발생했습니다.

$$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) + y^{(i)})x^{(i)}_j + \lambda\theta_j]$$

차이점은 원래 비용 함수와 Ng 교수 공식의 정규화 매개 변수 사이의 '더하기'부호가 기울기 함수에서 '빼기'부호로 바뀌는 반면 내 결과에서는 일어나지 않습니다.

직관적으로 나는 그것이 부정적인 이유를 이해합니다 : 우리는 기울기 그림으로 세타 매개 변수를 줄이고 있으며 정규화 매개 변수가 과적 합을 피하기 위해 매개 변수를 변경하는 양을 줄이기를 원합니다. 나는이 직관을 뒷받침하는 미적분학에 조금 붙어 있습니다.

참고로, 당신은 갑판을 찾을 수 있습니다 여기에 슬라이드 15, 16,.

$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$

지금

$\frac{\partial}{\partial \theta_j}(h_\theta (x^{(i)}) - y^{(i)})^2=2[(h_\theta (x^{(i)}) - y^{(i)})\frac{\partial}{\partial \theta_j}\{h_\theta(x^{(i)})\}]$

선형 모델 (앞서 언급 한 페이지에서 설명)에서$\frac{\partial}{\partial \theta_j}(h_\theta(x^{(i)})=[x^{(i)}]_j$

$\frac{\partial}{\partial \theta_j}\lambda\sum_{j=1}^n\theta^2=2\lambda\theta_j$

선형 사례의 경우

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j + \lambda\theta_j]$

아마 당신과 앤드류가 오타가있는 것 같습니다. 글쎄, 우리 셋 중 적어도 두 사람은 보인다.

실제로 비디오 바로 뒤에 강의 노트를 확인하면 수식이 올바르게 표시됩니다. 여기에 줄을 긋은 슬라이드는 비디오의 정확한 슬라이드를 보여줍니다.

실은 오타 일 뿐이라고 생각합니다.

슬라이드 # 16에서 그는 세타와 관련하여 비용 함수의 파생 (정규화 용어로)을 작성 하지만 그라디언트 하강 알고리즘과 관련이 있습니다. 따라서 그는이 도함수에 곱하고 있습니다. 주의 사항 : 슬라이드 16의 두 번째 줄에는 (작성한대로)에 곱한 값이 있습니다. 그러나 세 번째 줄 까지는 곱한 항이 두 번째 줄이 맞으면 음수 부호가 취소 되더라도 여전히 음수 입니다.$-\alpha$$-\lambda\theta$$-\alpha$

말이 되나요?