정규화와 래그 레인지 멀티 플라이어 방법 사이의 연결은 무엇입니까?

과적 합을 피하기 위해 사람들 은 선형 회귀의 비용 함수에 정규화 매개 변수 와 함께 정규화 용어 (모델의 매개 변수의 제곱합에 비례)를 추가합니다 . 이 매개 변수 는 lagrange multiplier와 동일합니까? 정규화는 lagrange multiplier 방법과 동일합니까? 아니면이 방법들은 어떻게 연결되어 있습니까? $\lambda$$\lambda$

우리는 매개 변수를 사용하여 모델을 최적화하는 말 , 어떤 기준 최소화하여 매개 변수 벡터의 크기에 제약 될 것은 (인스턴스는 구현하기위한 구조적 위험 최소화 에 의한 접근 방식을 복잡성이 증가하는 중첩 된 모델 집합을 구성하는 경우) 다음을 해결해야합니다.$\vec{\theta}$$f(\vec{\theta})$

$\mathrm{min}_\vec{\theta} f(\vec{\theta}) \quad \mathrm{s.t.} \quad \|\vec{\theta}\|^2 < C$

이 문제에 대한 라그랑지안은 (캐비티 : 나는 긴 하루 였다고 생각한다 ... ;-)

$\Lambda(\vec{\theta},\lambda) = f(\vec{\theta}) + \lambda\|\vec{\theta}\|^2 - \lambda C.$

따라서 정규화 된 비용 함수는 제약 조건 ( )을 지배하는 상수와 관련된 정규화 매개 변수 와 제약 조건 최적화 문제와 밀접한 관련이 있으며 본질적으로 라그랑주 승수 임을 쉽게 알 수 있습니다 . $\lambda$$C$

이것은 예를 들어 능형 회귀가 구조적 위험 최소화를 구현하는 이유를 보여줍니다. 정규화는 가중치 벡터의 크기에 제약을 두는 것과 동등하며 이면 제약 조건을 준수하면서 만들 수있는 모든 모델$C_1 > C_2$

$\|\vec{\theta}\|^2 < C_2$

제약 조건에서도 사용할 수 있습니다

$\|\vec{\theta}\|^2 < C_1$ .

따라서 줄이면 복잡성이 증가하는 일련의 가설 공간이 생성됩니다.$\lambda$