규범 은 무엇이며 정규화와 어떤 관련이 있습니까?

나는 최근에 드문 드문 표현에 대한 많은 논문을 보았으며, 대부분은 규범을 사용하고 약간의 최소화를 수행합니다. 내 질문은 규범과 혼합 규범은 무엇입니까? 그리고 정규화와 어떤 관련이 있습니까?$\ell_p$$\ell_p$$\ell_{p, q}$

감사

$\ell_p$ 규범은 벡터를 취하고 음수가 아닌 숫자를 반환하는 함수입니다. 그것들은 . p = 2 인 경우 , 이것은 유클리드 표준 이라고합니다 . 유클리드 거리를 \ | \ vec x-\ vec y \ | _2 로 정의 할 수 있습니다 . 때 P = \ infty 이 단지 수단 \ | \ VEC X \ | _ \ infty = \ sup_i x_i로부터 (또는 \ max_i x_i로부터 ). 엄밀히 말하면, p 는 \ | \ vec x \ | _p 가 표준 이 되려면 1 이상이어야합니다 . 만약 0 <p <1 , 다음 \ VEC X \ | | _p \

$$\|\vec x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p}$$ $p=2$$\|\vec x - \vec y\|_2$$p = \infty$$\|\vec x\|_\infty = \sup_i x_i$$\max_i x_i$$p$$\|\vec x\|_p$$0 < p < 1$$\|\vec x\|_p$ 규범은 삼각형 부등식을 만족시켜야하기 때문에 실제로는 규범이 아닙니다.

( 벡터 또는 시퀀스 대신 함수를 제외하고 으로 정의되는 규범 도 있습니다. 벡터는 유한 도메인의 함수이기 때문에 실제로 동일합니다.)$L_p$

제외하고 인 기계 학습 응용 프로그램에서 규범을 사용하는 것을 알지 못합니다 . 일반적으로 또는 이거나 경우 를 이완하려는 경우 가 표시됩니다 . 은 에서 볼록하게 보이지 않지만 는 입니다. 이로 인해 특정 경우에 솔루션을보다 쉽게 ​​찾을 수 있습니다.$p > 2$$p = \infty$$p = 2$$p = 1$$1 < p < 2$$p = 1$$\|\vec x\|_1$$\vec x$$\|\vec x\|_p$$1 < p < \infty$

정규화와 관련하여 을 목적 함수에 추가하면 가 희박 할 것으로 예상 됩니다. 즉, 주로 0으로 구성됩니다. 약간 기술적이지만 기본적으로 밀도 가 높은 솔루션이있는 경우 동일한 표준을 가진 스파 저 솔루션이있을 수 있습니다. 솔루션의 밀도가 높을 것으로 예상되는 경우 를 목표에 추가 할 수 있습니다 . 그 파생물을 다루는 것이 훨씬 쉽기 때문입니다. 둘 다 솔루션의 무게가 너무 커지지 않도록하는 데 사용됩니다.$\|\vec x\|_1$$\vec x$$\|\vec x\|_2^2$

혼합 소스는 여러 소스를 통합하려고 할 때 발생합니다. 기본적으로 솔루션 벡터는 여러 조각 로 구성되기를 원합니다. 여기서 는 일부 소스의 인덱스입니다. 규범 단지입니다 모든의 -norm 벡터에서 수집 -norms. 즉,$\vec{x}^j$$j$$\ell_{p,q}$$q$$p$

$$\|\vec x\|_{p,q} = \left( \sum_{j = 1}^m \left( \sum_{i=1}^d |x_i^j|^p\right)^{q/p}\right)^{1/q}$$

이 목적은 를 사용하여 일련의 솔루션을 "과도하게 분석"하는 것이 아닙니다 . 개별 조각은 드물지만 모든 솔루션의 노름을 취하여 전체 솔루션 벡터를 좁힐 위험은 없습니다 . 따라서 외부 에서 규범 을 사용하십시오 .$\|\vec x\|_{1,2}$$1$$2$

희망이 도움이됩니다.

자세한 내용은 이 백서 를 참조하십시오.