보통 최소 제곱에서 하단에 이중 막대와 2의 의미는 무엇입니까?

나는 여기 에서 보통 최소 제곱에 대한이 표기법을 보았다 .

min_{w} {‖ X w - y ‖}_{2}^{2}

$\min_w \left\| Xw - y \right\|^2_2$

나는 바닥에 이중 막대와 2를 본 적이 없다. 이 기호는 무엇을 의미합니까? 그들은 그들에게 특정한 용어를 가지고 있습니까?

— 아셈 반살
소스

이중 막대를 사용한다는 것은 우리가 L2 표준을 사용하고 있음을 나타냅니다.

— Michael R. Chernick

@MichaelChernick와 2? "L2 규범"의 일부입니까?

— Aseem Bansal

예, L2와 마찬가지로 L1도 있습니다.

— Jon

는 벡터 이기 때문에

X_{w}

$X_w$ 는

한다고 생각 합니다.

X w

$Xw$

w

$w$

— ilanman

@ilanman 그렇습니다. 편집 전의 표기법이었습니다. 나는 그것을 다시 바꿨다

— Aseem Bansal

당신은 벡터 ( ) 의 -norm (Euclidean norm)에 대해 이야기하고 있습니다. 이 외국어에 대해 간단히 벡터 의 -norm 은 다음과 같습니다. $\ell_2$ $Xw - y$ $\ell_p$ $u \in \mathbb{R}^{n}$

‖ u ‖_{p} = (\sum_{i = 1}^{n} | u_{i} |^{p})^{\frac{1}{p}}

$\|u\|_p = \big(\sum_{i=1}^{n} |u_i|^p\big)^{\frac1p}$

따라서 귀하의 경우 이는 선형 회귀 분석의 잔차 제곱의 합과 일치합니다. 회귀 문제의 맥락에서, 이것은 평균 제곱 오차 (MSE) 계산 및 능선 회귀 에서도 많이 볼 수 있습니다 . $\|u\|_2^2 = (\big(\sum\limits_{i=1}^{n} |u_i|^2\big)^{\frac12})^2 = \sum\limits_{i=1}^{n} u_i^2$

이것은 일반적인 규범이며 (다른 이유로 수학적으로 편리합니다) 문맥에서 명백 할 때 하위 생략되고 됩니다. $2$ $\|u\|^2$

주석에서 언급했듯이 -norm 도 볼 수 있습니다 . $\ell_1$

‖ u ‖_{1} = \sum_{i = 1}^{n} | u_{i} |

$\|u\|_1 = \sum_{i=1}^{n} |u_i|$

절대 값에 해당합니다. 다시 말하지만, 이것은 평균 절대 오차 (MAE) 또는 올가미 문제에서 볼 수 있습니다.

다른 인기있는 규범 :

1 -norm : 해밍 거리 또는 벡터에서 0이 아닌 , 즉 벡터의 희소성을 계산합니다. 기술적으로 이것은 정의에 용어 가 있기 때문에 규범 (카디널리티 함수)이 아니지만 규범의 형식을 갖기 때문에 우리는이를 하나라고 부릅니다.
- 이 표준은 실제로 계수를 제로화하기를 원하기 때문에 회귀 문제에 대한 희소성을 유도하는 데 사용되는 이상적인 표준이지만 정규화 계산 은 NP-hard이므로 선형 프로그래밍을 통해 해결할 수있는 근사합니다 . 압축 감지 에서도 인기가 있습니다. $\ell_0$ $\ell_1$
$\ell_{\infty}$ -norm = 에 대해 $\underset{i} {\text{max}}$ $\{|x_i|\}$ $i = 1, ..., n$
$\|A\|_F$ : Frobenius (Euclidean) 규범, 행렬 적용됨 $A \in \mathbb{R}^{n\times m} = \sqrt{\sum \limits_{i=1}^{n}\sum \limits_{j=1}^{m}|a_{ij}|^2}$

— 일란 만
소스

볼프람 알파에 대한 링크가 정말 도움이되었습니다.

— Aseem Bansal

당신은 쓰기 그 에서 제로의 (의사) 규범 카운트 수 벡터-않았다 당신은 아마의 수를 의미하는 비 -zero 항목을? (이것은 내가 본 것과 더 일관되며, 또한 은 마이너스가 아닌 와 사이의 해밍 거리가 됨을 의미합니다 거리.)

ℓ_{0}

$\ell_0$

‖ u ‖_{0}

$\lVert u \rVert_{0}$

u

$u$

0 \in R^{n}

$0 \in \mathbb R^n$

n

$n$

— wchargin

철자 오류 : "Frobenius".

— hobbs

"이것은 일반적인 규범"대신 "L2는 규범"이라고 말했을 것입니다.;)

— user541686