공간의 임의 지점으로 L2 정규화를 구현하는 방법은 무엇입니까?

11

Ian Goodfellow의 저서 Deep Learning 에서 읽은 내용이 있습니다.

신경망의 맥락에서, "L2 매개 변수 규범 페널티는 일반적으로 무게 감소로 알려져 있습니다.이 정규화 전략은 가중치를 원점에 더 가깝게 이동시킵니다. [...] 더 일반적으로, 매개 변수를 특정 지점에 가깝게 정규화 할 수 있습니다. 공간에서 "라고하지만 모델 매개 변수를 0으로 정규화하는 것이 훨씬 일반적입니다. (딥 러닝, Goodfellow 등)

그냥 궁금 해서요 비용 함수에 정규화 용어를 간단히 추가하고이 총 비용 를 최소화함으로써 $J$ 모델의 매개 변수가 작게 유지되도록 영향을 줄 수 있음을 이해합니다.

J (Θ, X, y) = L (Θ, X, y) + λ | | w | |_{2}^{2}

$J(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) = L(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) + \lambda||\boldsymbol{w}||_{2}^{2}$

그러나이 정규화 전략의 버전을 어떻게 구현하여 매개 변수를 임의의 지점으로 유도 할 수 있습니까? (우리는 규범이 5쪽으로 향하기를 원합니다)

— 줄렙
소스

14

실제로 두 가지 다른 질문을합니다.

규범이 5 인 경향이 있다는 것은 가중치가 반지름 5 인 원점을 중심으로하는 초구 표면 근처에 있음을 의미합니다.

J (Θ, X, y) = L (Θ, X, y) + λ (| | w | |_{2}^{2} - 5)^{2}

$J(\Theta, X, y) = L(\Theta, X, y) + \lambda (||w||_2^2-5)^2$

그러나 대신 와 같은 것을 사용할 수 있다고 가정합니다. $\lambda \cdot\text{abs}(||w||_2^2-5)$

반면에 임의의 점을 향해 경향이있는 경우 해당 점을 중심 로 사용하면됩니다 . $c$

J (Θ, X, y) = L (Θ, X, y) + λ | | w - c | |_{2}^{2}

$J(\Theta, X, y) = L(\Theta, X, y) + \lambda ||w-c||_2^2$

— Sycorax는 Reinstate Monica를 말합니다
소스

(+1) "노름이 5가되는 경향"을 생각하는 유익한 방법 은 OP가 제공 한 버전 (기능 변경 대신) 에서 튜닝 매개 변수를 선택 하는 것입니다.

J

$J$

— user795305

(위의 의미를 명확하게하기 위해 짧은 답변을 작성했습니다. 그런데 두 가지 질문의 차이점을 분명히 해주셔서 감사합니다!)

— user795305

이를 수행 할 때 일반적인 (실제적인) 목표는 알려진 운영 지점을 향해 정규화하는 것입니다. 예를 들어 이전 모델을 교체하려고하지만 "부드럽게"전환

— 하려는 경우

6

정의우리는 이라는 점을 알고 있습니다 . 벌점 는 원점을 최소화 자로 사용합니다.

{\hat{w}}_{λ} = \arg min_{w} L (Θ, X, y) + λ ‖ w ‖_{2}^{2} .

$\hat w_\lambda = \arg\min_w L(\Theta, X, y) + \lambda \|w\|_2^2.$

lim_{λ \to \infty} {\hat{w}}_{λ} = 0

$\lim_{\lambda \to \infty} \hat w_\lambda = 0$

w \mapsto ‖ w ‖_{2}^{2}

$w \mapsto \|w\|_2^2$

Sycorax는 마찬가지로이것은 성공적인 일반화 제안 우리를 초래할 수도 추정기 여기서 함수이기 그 최소화는 우리가 찾는 어떤 속성을 만족시킵니다. 실제로 Sycorax는 취합니다 . 여기서 는 원점에서 (고유하게) 최소화되며, 특히 . 그러므로 원하는대로 입니다. 불행히도, 두 가지 선택 모두 $\lim_{\lambda \to \infty} \left\{ \arg\min_w L(\Theta, X, y) + \lambda \|w-c\|_2^2 \right\} = c.$

{\tilde{w}}_{λ} = \arg min_{w} L (Θ, X, y) + λ p e n (w),

$\tilde w_\lambda = \arg\min_w L(\Theta, X, y) + \lambda \mathrm{pen}(w),$

p e n

$\mathrm{pen}$

p e n (w) = g (‖ w ‖_{2}^{2} - 5)

$\mathrm{pen}(w) = g(\|w\|_2^2 - 5)$

g

$g$

g \in {| \cdot |, (\cdot)^{2}}

$g \in \{|\cdot|, \, (\cdot)^2\}$

lim_{λ \to \infty} ‖ {\tilde{w}}_{λ} ‖_{2}^{2} = 5

$\lim_{\lambda \to \infty} \|\tilde w_\lambda \|_2^2 = 5$

g

$g$ 볼록하지 않은 벌칙을 초래하여 견적서를 계산하기 어렵게합니다.

위의 분석은 (아마도 최대의 선택에 최적의 솔루션이 될 것으로 보인다 내가 더 좋은 제안 하나를 가지고있는) 우리가 주장하는 경우 의 독특한 해석되는 것은 설명 "경향"으로 질문. 그러나, 가정 일부 존재 그래서 그 마이저 OP의 문제 satsifes의 입니다. 따라서목적 함수를 변경할 필요없이 입니다. 그러한 가 존재 하지 않으면 컴퓨팅 문제 $g$ $\lambda \to \infty$ $\|\arg\min_w L(\Theta, X, y) \|_2^2 \geq 5$ $\Lambda$ $\hat w_\Lambda$ $\|\hat w_\Lambda\|_2^2 = 5$

lim_{λ \to Λ} {‖ {\hat{w}}_{λ} ‖}_{2}^{2} = 5,

$\lim_{\lambda \to \Lambda} \left\| \hat w_\lambda \right\|_2^2 = 5,$

Λ

$\Lambda$

\arg min_{w : ‖ w ‖_{2}^{2} = 5} L (Θ, X, y)

$\arg\min_{w : \|w\|_2^2 = 5} L(\Theta, X, y)$ 는 본질적으로 어렵다. 실제로 자연적 속성을 장려하려고 할 때 외에 추정기를 고려할 필요가 없습니다 .

{\hat{w}}_{λ}

$\hat w_\lambda$

‖ {\hat{w}}_{λ} ‖_{2}^{2}

$\|\hat w_\lambda\|_2^2$

(벌칙 형 견적자가 미정 형 견적자가 달성하지 못한 페널티의 가치를 얻도록 강제하기 위해서는 저에게 부 자연스러운 것 같습니다. 누군가가 실제로 원하는 곳을 알고 있다면 의견을 말하십시오!)

— 사용자
소스

1

이것은 훌륭한 추가입니다. +1

— Sycorax는 Reinstate Monica가

2

적절한 경우 음의 로그 우도 로 볼 수 있으며 적절한 정규화 는 이전 분포의 음의 로그 우도로 볼 수 있습니다. 이 접근법을 MAP (Maximum A Posteriori)라고합니다. $L$ $J$

MAP에 비추어 Sycorax의 예제를 쉽게 볼 수 있어야합니다.

MAP에 대한 자세한 내용은 이 노트를 참조하십시오 . 내 경험에서 인터넷 검색 '최대 포스터 정규화'는 좋은 결과를 제공합니다.

— 야 aku 바트 주크
소스