Norms- 특별한 점은 무엇입니까 ?

때문에 규범 (적어도 부분적으로) 고유 아닌 볼록 볼록 사이의 경계에있다. 규범은 '대부분의 스파 스'볼록 규범 (오른쪽?). p = 1 L $L_1$$p=1$$L_1$

나는 이해 유클리드 규범 기하학에 뿌리를 가지고 있으며, 크기가 같은 단위가 때 명확한 해석이있다. 그러나 왜 다른 실수보다 우선적으로 사용되는지 이해하지 못합니다 : ? ? 왜 전체 연속 범위를 하이퍼 파라미터로 사용하지 않습니까?p > 1 p = 1.5 p = $p=2$$p>1$$p=1.5$$p=\pi$

내가 무엇을 놓치고 있습니까?

더 수학적 설명은 p-norm으로 수렴하는 모든 계열로 구성된 공간 가 이고 다른 값 은없는 Hilbert라는 것입니다 . 이것은이 공간이 완전하고 그 공간의 표준이 내부 제품에 의해 유발 될 수 있음을 의미하므로 ( 의 익숙한 내적을 생각하십시오 ), 작업하기가 조금 더 좋습니다. p $l^p$R $p=2$$R^n$

몇 가지 이유는 다음과 같습니다.

1. 그것은 내부 제품과 매우 특별한 방식으로 관련되어 있습니다 : 그것은 자체 이중 규범입니다 (즉, "자체 이중").
   즉, 단위 공 내부의 모든 벡터를 고려 하면 벡터 가있는 최대 내부 곱은 자체 의 규범입니다 . 덜 환상적으로, 그것은 속성을 만족시킵니다 . 다른 규범은이 방식으로 동작 하지 않습니다 .$\ell_2$$z$$\ell_2$$z$$\lVert x\rVert_2^2 = x \cdot x$$\ell_p$

2. 그것은이 매우 편리 부드러운 그라데이션을 : 당신은 정말 이길 수 없다!

   $$\nabla_x\ \lVert f(x)\rVert_2^2 = 2 \ \nabla f(x) \cdot f(x)$$

더 많은 이유가있을 수 있지만 다음과 같은 이유로 AFAIK p = 2가 선호됩니다.

• 유사성 / 비 유사성 측정 : p = 2의 경우, 유클리드 표준은 두 벡터 간의 유사성 또는 비 유사성에 대한 측정치를 제공하며, 데이터에 대한 더 나은 통찰력을 얻는 데 추가로 사용될 수 있습니다. 이에 대한 자세한 답변은 여기를 참조하십시오 .
• 정규화 : L2 규범은 기계 학습의 정규화에 사용되며 다음 두 가지 이유로 선호됩니다. 1) 쉽게 구분할 수 있습니다. 2) L2 정규화를 사용하면 가중치가 가중치에 비례하여 감소하는 경향이 있습니다. 따라서 L2 정규화는 더 작은 가중치에 비해 더 큰 가중치에 더 많은 불이익을줍니다.

선형 모델에서 제곱 오차는 종종 다음과 같은 이유로 선호됩니다.

• 소음으로 간주되는 임의의 현상 (비상 관성)과 관련하여 잘 작동하는 직교성 관련
• 그것은 아니라 볼록하고 구별$L_1$
• 미분이 선형 시스템으로 바뀌면서 다루기 쉬운 최적화 알고리즘을 생성합니다.

ℓ 1 ℓ p 0 < p < $L_1$ 종종 된 조합 복잡 엄격한 희소성 (비 - 제로 용어의 수)에 편리 프록시 또는 볼록 휴식으로 간주됩니다, 예를 들어 볼 미니멀 선형 방정식의 가장 큰 Underdetermined 시스템의 -norm 솔루션은 또한이다 가장 성가신 솔루션$\ell_1$ . 일부는 , 을 사용하여 볼록한 "손실"비용으로 더 많은 희소성을 적용 하는 경향이 있습니다 .$\ell_p$$0<p<1$

그러나 카운트 측정 값은 0이 아닌 스케일링에 영향을받지 않습니다. 벡터에 0이 아닌 상수를 곱하면 0이 아닌 항의 수는 그대로 유지됩니다. 따라서 은 차 동종인 반면 규범 또는 준-노름은 모두 차 동종입니다. 어떻게 든, 을 으로 불일치는 나에게 차이가있는 것 같습니다.ℓ 0 0 ℓ 페이지 1 ℓ P → ℓ 0 페이지 → $\ell_0$$\ell_0$$0$$\ell_p$$1$$\ell_p \to \ell_0$$p\to 0$

따라서, 규범 유지 일부 예컨대 (볼록하지 않은) 표준 비, 고려 의 참조 예를 참조하여, 희소 블라인드 역대 합 평활화와하십시오 택시 유클리드 정규화를 .ℓ 1 / ℓ 2$\ell_1 / \ell_2$$\ell_1 / \ell_2$