능선 회귀의 가정은 무엇이고 어떻게 테스트합니까?

다중 회귀 분석을위한 표준 모델 고려 때문에 정상, homoscedasticity 모든 홀드 오류를 uncorrelatedness.

와이 = 엑스 β + ε

$Y=X\beta+\varepsilon$

ε \sim N (0, σ^{2} I_{n})

$\varepsilon \sim \mathcal N(0, \sigma^2I_n)$

대각선의 모든 요소에 동일한 소량을 추가하여 능선 회귀를 수행한다고 가정합니다 . $X$

β_{아르 자형 나는 디 지 이자형} = [{엑스}^{'} 엑스 + 케이 나는]^{- 1} {엑스}^{'} 와이

$\beta_\mathrm{ridge}=[X'X+kI]^{-1}X'Y$

는 의 편향 추정기 이지만, 능선 계수가 OLS에 의해 얻은 것보다 평균 제곱 오차가 적은 일부 값이 있습니다 . 실제로 는 교차 검증에 의해 얻어진다. $k$ $\beta_\mathrm{ridge}$ $\beta$ $k$

내 질문은 다음과 같습니다. 릿지 모델의 기본 가정은 무엇입니까? 좀 더 구체적으로 말하면

일반 최소 제곱 (OLS)의 모든 가정이 능선 회귀에 유효합니까?
1 번 질문에 '예'인 경우, 편향 추정량 와 동종 성 및 자기 상관의 부재를 어떻게 테스트 합니까? $\beta$
능선 회귀에서 다른 OLS 가정 (동질성 및 자기 상관의 부재)을 테스트하는 작업이 있습니까?

regression assumptions ridge-regression

— Akyves
소스

OLS는 예측 변수가 독립적이라고 가정하지 않습니다. 그러한 가정을하는 것은 특정한 특정한 해법이나 공식 일뿐입니다. 중요한 것은 능선 회귀 승수를 선택하는 방법이며

의 추정값 이 바이어스 되지 않을 수 있습니다. 능선 추적을 확인하여 해당 승수를 선택하면 불확실성을 정량화 할 수있는 방법이 없으므로 선형 회귀 이론에서 대부분의 공식 진단 테스트에 의문을 제기합니다. 이것은 "릿지 회귀"가 실제로 무엇을 의미하는지 묻습니다. 매개 변수를 정확히 어떻게 추정합니까?

β

$\beta$

— whuber

아마도 내가 잘못,하지만 표준 다중 회귀 모델을 고려

. 그리고

가 전체 순위가 아닌 경우 , 이것은 특히

차원이 높은 경우 비가역 행렬

집니다. 나는 내 질문을 편집했습니다. 감사.

β_{O L S} = (X^{'} X)^{- 1} X^{'} Y

$\beta_{OLS}=(X'X)^{-1}X'Y$

X

$X$

X^{'} X

$X'X$

— akyves

선형 회귀는 "너무 크지 않은"공선 성을 완벽하게 처리 할 수 있습니다.

— jona

다중 회귀 분석의 모형이 아닙니다. 최소 제곱 추정값을 표현하는 유일한 방법 일뿐입니다. 때

가역없고, 통상 방정식 아직 해결책을 갖고 (보통) 모델이 여전히 고유 갖는다 착용감 을 고유하게 예측을 의미한다.

X^{'} X

$X^\prime X$

— whuber

관련 : 부분 최소 제곱 (PLS) 회귀의 모형 가정 .

— amoeba는 Reinstate Monica가

답변:

통계 절차 의 가정 은 무엇입니까 ?

나는 통계학자가 아니기 때문에 이것이 틀릴 수도 있지만, "가정"이라는 단어는 종종 비공식적으로 사용되며 다양한 것을 지칭 할 수 있다고 생각합니다. 나에게 "가정"은 엄밀히 말하면 이론적 인 결과 (정리)만이 가질 수있는 것입니다.

사람들이 선형 회귀의 가정에 대해 이야기 할 때 ( 여기 참조 에 대한 심도있는 토론), 그들은 일반적으로 언급하는 가우스 - 마르코프 정리 있다고 가정에서 상관 관계가없는, 평등 분산, 평균이 0 인 오류, OLS 추정이 청색입니다 즉, 편견이없고 최소 편차가 있습니다. Gauss-Markov 정리와 관련하여 "회귀 가정"이 무엇을 의미하는지 명확하지 않습니다.

$t$ $t$ $n$ $t$ $t$ $n-1$

불이익 회귀 기술 가정

능형 회귀, 올가미, 탄성 그물, 주성분 회귀, 부분 최소 제곱 회귀 등 등의 정규화 된 회귀 기술을 고려하십시오. 이러한 방법의 요점 은 회귀 모수 의 편향 추정을 수행하고 기대치를 줄이는 것입니다. 바이어스-분산 트레이드 오프를 활용하여 손실.

$\hat \beta$

그러나 능선 회귀가 항상 OLS를 능가하는 수학적 결과는 어떻습니까?

$\lambda$ $\beta$ $\lambda$

이 결과는 실제로 어떤 가정도 요구하지 않으며 항상 사실이지만, 능선 회귀에는 가정이 없다고 주장하는 것이 이상합니다.

좋아,하지만 능선 회귀를 적용 할 수 있는지 어떻게 알 수 있습니까?

가정에 대해 이야기 할 수 없더라도 경험 법칙에 대해 이야기 할 수 있다고 말하고 싶습니다 . 능선 회귀는 상관 예측 자와의 다중 회귀의 경우에 가장 유용한 경향이있는 것으로 잘 알려져 있습니다. OLS를 능가하는 경향이있는 것으로 잘 알려져 있습니다. 이분산성, 상관 오류 또는 그 밖의 다른 경우에도 성능을 능가하는 경향이 있습니다. 따라서 간단한 경험 법칙에 따르면 다중 공선 데이터가있는 경우 능선 회귀 및 교차 유효성 검사가 좋습니다.

다른 유용한 경험 법과 거래의 비법이있을 수 있습니다 (예 : 심한 특이 치와 관련된 작업). 그러나 그것들은 가정이 아닙니다.

$p$ $p$

— 아메바의 말에 따르면 복원 모니카
소스

어떤 절차와 관련하여 추론의 속성을 도출하는 상황에서 회귀 기울기의 가설 검정의 속성 또는 신뢰 구간 또는 예측 구간의 속성인지 여부, 예를 들어 테스트 자체는 일부에서 도출됩니다. 가정의 집합. 많은 주제 영역에서 회귀를 사용하는 가장 일반적인 목적은 일종의 유추를 수행하는 것이기 때문에 (실제로 어떤 응용 분야에서는 다른 이유로 거의 수행되지 않음) 추론 절차에 대해 가정 한 것은 자연스럽게 연관되어 있습니다. ... ctd와 함께

— Glen_b-복지국 모니카

ctd ... 그들이 사용하는 것. 따라서 회귀 계수 테스트 또는 부분 F 테스트 또는 평균 또는 예측 간격에 대한 CI에 대한 t- 검정을 도출하기 위해 몇 가지 가정이 필요하고 일반적인 추론 형태가 모두 동일하거나 거의 동일합니다. 동일한 가정의 집합이라면, 그것들은 그 것을 사용하여 추론을 수행하는 것과 관련된 가정으로 합리적으로 간주됩니다. 하나는 능선 회귀 어떤 추론을 수행하는 경우 (예측 간격을 말한다) 및이를 위해 가정을, 그 동등하게 가정 ... CTD라고 할 수있다

— Glen_b -Reinstate 모니카

능선 회귀에 대한 특정 종류의 추론을 도출 할 수 있어야했습니다.

— Glen_b-복지 주 모니카

R^{2}

$R^2$

너무 늦지 않아 @amoeba에게 감사를 표하고 싶습니다. 좋은 답변입니다!

— akyves

통계 관점에서 입력 내용을 제공하고 싶습니다. Y ~ N (Xb, sigma2 * In)이면 b ^의 평균 제곱 오차는

MSE(b^)=E(b^-b).T*(b^-b)=E(|b^-b|^2)=sigma2*trace(inv(X.T*X))

D(|b^-b|^2)=2*sigma4*trace((X.T*X)^(-2))

b^=inv(X.T*X)*X.T*Y

XT X가 대략 0이면, inv (XT X)는 매우 클 것입니다. 따라서 b의 모수 추정값은 안정적이지 않으며 다음과 같은 문제가 발생할 수 있습니다.

모수 추정치의 절대 값이 매우 큼
b 예상보다 반대의 양수 또는 음수 부호가 있습니다.
변수 또는 관측치를 추가하거나 제거하면 모수 추정값이 크게 변경됩니다.

b의 서수 최소 제곱 추정값을 안정적으로 만들기 위해 다음 b^(k)=inv(X.T*X+kI)*X.T*Y.과 같이 추정하여 릿지 회귀 분석을 소개합니다. 그리고

MSE(b^(k)) < MSE(b^).

머신 러닝에서 능선 회귀는 L2 정규화라고하며 많은 기능으로 인한 과적 합 문제를 방지합니다.

— 엠마
소스