L1 정규화를 사용한 회귀는 Lasso와 동일하고 L2 정규화를 사용한 회귀는 능선 회귀와 동일합니까? 그리고 "올가미"를 쓰는 방법?

저는 특히 Andrew Ng의 기계 학습 과정을 통해 소프트웨어 엔지니어 학습 기계 학습 입니다 . 정규화로 선형 회귀를 연구하는 동안 혼란스러운 용어를 발견했습니다.

L1 정규화 또는 L2 정규화를 사용한 회귀
올가미
릿지 회귀

그래서 내 질문 :

L1 정규화를 사용한 회귀는 LASSO와 정확히 동일합니까?
L2 정규화를 사용한 회귀는 릿지 회귀와 정확히 동일합니까?
"LASSO"는 서면으로 어떻게 사용됩니까? "LASSO 회귀"여야합니까? " 올가미가 더 적합합니다 " 와 같은 사용법을 보았습니다 .

위의 1과 2에 대한 대답이 "예"인 경우 왜이 두 용어에 다른 이름이 있습니까? "L1"및 "L2"는 컴퓨터 과학 / 수학, "LASSO"및 "Ridge"는 통계에서 나옵니까?

다음과 같은 게시물을 볼 때 이러한 용어의 사용이 혼동됩니다.

" L1과 L2 정규화의 차이점은 무엇입니까? "(quora.com)

" 올가미 대 릿지를 언제 사용해야합니까? "(stats.stackexchange.com)

— stackoverflowuser2010
소스

늦게 답하고 있지만 Linear, Ridge 및 Lasso Regression에 대한이 포괄적 인 초보자 안내서는 초보자가 이러한 용어를 명확하게 이해하는 데 도움이됩니다. 참조 여기

— 학습자

예.
예.
LASSO는 실제로 약어 (최소 절대 축소 및 선택 연산자)이므로 대문자로 표기해야하지만 현대적인 글쓰기는 Mad Max 의 어휘와 같습니다 . 다른 한편으로, Amoeba는 LASSO라는 용어를 만든 통계 학자조차도 이제 소문자 렌더링 (Hastie, Tibshirani 및 Wainwright, 통계 학습이있는 통계 학습)을 사용 한다고 기록 합니다. 스위치의 동기에 대해서만 추측 할 수 있습니다. 학술 출판사를 위해 글을 쓰는 경우 일반적으로 이런 종류의 스타일 가이드가 있습니다. 이 포럼에서 글을 쓰고 있다면 어느 쪽이든 괜찮습니다.

표기 민코프 스키 규범에 대한 참조 인 공간. 이들은 다음 식에서 택시와 유클리드 거리의 개념을 으로 일반화합니다 . 중요한 것은 만이 미터 거리를 정의합니다. 은 삼각형 부등식을 만족하지 않으므로 대부분의 정의에서 거리가 아닙니다. $L$ $L^p$ $p>0$

” 엑스 ”_{피} = (| {엑스}_{1} |^{피} + | {엑스}_{2} |^{피} + . . . + | {엑스}_{엔} |^{피})^{\frac{1}{피}}

$\|x\|_p=(|x_1|^p+|x_2|^p+...+|x_n|^p)^{\frac{1}{p}}$

p \geq 1

$p\ge 1$

0 < p < 1

$0<p<1$

릿지와 LASSO 간의 연결이 언제 실현되었는지 잘 모르겠습니다.

여러 이름이있는 이유는 이러한 방법이 다른 시간에 다른 장소에서 개발 된 것입니다. 통계의 공통 주제는 개념에 독립적으로 발견 된 각 서브 필드마다 하나씩 여러 이름이 있다는 것입니다 (커널 함수 대 공분산 함수, 가우스 프로세스 회귀 vs Kriging, AUC vs 통계). 릿지 회귀 분석은 Tikhonov 정규화라고합니다. 왜냐하면이 방법에 대한 최초의 주장이 있기 때문입니다. 한편 LASSO는 Tikhonov의 "ridge"방법보다 훨씬 늦게 1996 년에 도입되었습니다! $c$

— Sycorax는 Reinstate Monica를 말합니다
소스

+1. 최근의 희소성 통계 학습 교과서에서 Hastie, Tibshirani 및 Wainwright는 모든 곳에서 소문자 "lasso"를 사용하고 다음과 같이 작성합니다 (8 페이지의 각주). "올가미는 올가미로 긴 밧줄입니다. 말과 소를 잡는 데 사용됩니다. 비유적인 의미에서,이 방법은 모델의 계수를 "lassos"하고 원래 올가미 논문 (Tibshirani 1996)에서 "lasso"라는 이름은 "Least Absolute"의 약어로 도입되었습니다. 선택 및 축소 연산자. ""(CC to @ stackoverflowuser2010.)

— amoeba는 Reinstate Monica가

"발음 : 미국에서"lasso "는"lass-oh "(염소 에서처럼)로 발음되는 반면 영국에서는"lass-oo "로 발음되는 경향이 있습니다. OED (1965 년 2 판) :" 올가미는 그것을 사용하는 사람들과 대부분의 영국인들도 lasoo라고 발음합니다. "":-)

— amoeba는 Reinstate Monica

(+1) 약어 (단어로 발음되는 약어)가 통화를 얻음에 따라 대문자로 표시되는 경향이 있습니다. 'RADAR'또는 'LASER'를 본 지 오래되었습니다.

— Scortchi-Monica Monica 복원

@Scortchi SCUBA도. 한편 STATA와 MATLAB을 약어처럼 쓰는 사람들이 있습니다.

— shadowtalker

@ssdecontrol : 그러면 "ANOVA"가 "AnOVa"여야합니까?

— Scortchi-Monica Monica 복원