정규화

정규화를 수행하는 방법에는 , 및 규범 기반 정규화 와 같은 많은 방법이 있습니다 . Friedman Hastie & Tibsharani 에 따르면 , 최고의 정규화 기는 문제, 즉 실제 목표 함수의 특성, 사용 된 특정 기준, 신호 대 잡음비 및 샘플 크기에 따라 달라집니다. $L_0$ $L_1$ $L_2$

다양한 정규화 방법의 방법과 성능을 비교 한 경험적 연구가 있습니까?

r regression machine-learning regularization

— 람 알루 루아
소스

세 작가 모두 스탠포드에 있습니다. 왜 그들에게 직접 물어 보지 않겠습니까? Rob Tibshirani는 매우 접근하기 쉽고 Jerry Friedman도 마찬가지입니다. Friedman은 정규 회귀 분석에서 많은 독창적 인 연구를 수행했습니다. 그래서 그는 더 나은 선택이 될 수 있습니다.

— Michael R. Chernick

물론 그에게 답을했다고 말할 수는 없습니다. 그러나 가장 좋은 사람에게 질문에 대답하도록 지시하는 것은 보통 명확하게 설명하려는 단순한 평론 이상의 것 같습니다. 나는 종종 사람들이 왜 소스로 바로 갈 수 있는지 항상 여기에 질문을하는지 궁금합니다. 나는 Friedman이 대답 할 수 있다고 거의 확신하며, 특히 그들의 책에 쓰여진 것에 관한 질문이있을 때 소스로가는 것이 의미가 있습니다. 나는 소스로 가서 대답을 얻은 다음 여기에 제시 할 수 있습니다.

— Michael R. Chernick 1

사람들은 권위자로서 출처의 지위에 겁을 먹고, 출처가 너무 바빠서 (그들의 의견으로는) 사소하고 중요하지 않은 질문을 처리하기에는 너무 바쁘다고 가정하고 무례한 "왜 나를 괴롭히는가?" 대답 ... 여러분도 다른 분야의 출처 인 경우 출처를 찾는 것이 훨씬 쉽습니다.

— jbowman

@jbowman 예. 나는 이해. 그러나 당신은 제가 티브시 라니와 프리드먼을 개인적으로 알고 있으며, 이들 작가들에게 그들의 두려움이 근거가 없다는 것을 Op에 확신시켜주었습니다. 나는 다른 사람뿐만 아니라 그를 알지 못했기 때문에 Hastie를 언급하지 않았습니다.,

— Michael R. Chernick

@chl 나는 그들이 사이트에 참여하는 것을 현실적으로 기대할 수 있다고 생각하지 않습니다. Frank Harrell과 가명을 사용하는 다른 사람들과 같은 몇 가지 예외를 제외하고 바쁜 교수에게는 너무 많은 시간이 필요합니다. 그러나 나는 그들이 직접 보낸 특정 질문에 응답하는 데 시간이 걸릴 것이라고 생각합니다.

— Michael R. Chernick

답변:

페널티 선형 모델을 고려하십시오.

패널티는 매우 사용되지 않고 수시로 교체된다 수학적으로보다 유연 규범. $L_0$ $L_1$

정규화는 스파 스 모델을 구축 할 수있는 속성이 있습니다. 즉, 회귀 계수가 0이 아닌 변수는 거의 없습니다. 특히 변수가 출력 변수에 실제로 영향을 미치는 것으로 가정하는 경우에 사용됩니다. 상관 관계가 매우 큰 변수가 있으면 이들 중 하나만 0이 아닌 계수로 선택됩니다. $L_1$

페널티는 값 추가하는 경우처럼 입력 행렬의 대각선. 예를 들어 변수 수가 샘플 수보다 큰 상황에서 사용할 수 있습니다. 정사각 행렬을 얻기 위해. 으로 규범 페널티 모든 변수는 비 제로 회귀 계수를 갖는다. $L_2$ $\lambda$ $L_2$

— 돈 베오
소스

L_{0}

$L_0$

L_{0}

$L_0$

@Donbeo의 답변에 몇 가지 추가 사항

1) L0 규범은 진정한 의미의 규범이 아닙니다. 벡터에서 0이 아닌 항목의 수입니다. 이 규범은 분명히 볼록한 규범이 아니며 진정한 의미의 규범이 아닙니다. 따라서 L0 'norm'과 같은 용어가 표시 될 수 있습니다. 조합 문제가되어 NP가 어렵다.

2) L1 규범은 성긴 솔루션을 제공합니다 (LASSO 참조). Candes, Donoho 등의 주요 결과에 따르면 진정한 솔루션이 실제로 드문 경우 L1 처벌 방법이 복구됩니다. 기본 솔루션이 희박하지 않은 경우 p >> n 인 경우 기본 솔루션을 얻지 못합니다. 올가미가 일관성이 있음을 보여주는 좋은 결과가 있습니다.

3) L2와 L1에 불이익을주는 솔루션을 결합한 Zhou와 Hastie의 Elastic net과 같은 방법이 있습니다.

— 시드
소스