Quantile 회귀는 언제 OLS보다 나쁩니 까?

22

조건부 평균 관계를 절대적으로 이해해야하는 고유 한 상황 외에도 연구원이 Quantile Regression보다 OLS를 선택해야하는 상황은 무엇입니까?

나는 중간 회귀를 OLS 대체물로 사용할 수 있기 때문에 "꼬리 관계를 이해하는 데 쓸모가 없다면"이라는 대답을 원하지 않습니다.

— 프랭크 하렐
소스

4

나는 대부분의 연구자들이 OLS와 Quantile 회귀 모두를 즐겁게 할 것이라고 생각한다. 방법들 간의 차이는 모델링하려는 것에 빛을 비출 것입니다. OLS와 관련하여 정규성 가정을 던지면 대부분의 통계 패키지에서 사용할 수있는 상당히 잘 문서화되고 철저한 테스트 방법을 얻을 수 있습니다.

— Jonathan Lisic

18

평균에 관심이있는 경우 OLS를 사용하고 중앙값에있는 경우 Quantile을 사용하십시오.

한 가지 큰 차이점은 평균이 특이 치 및 기타 극단적 인 데이터의 영향을 더 많이 받는다는 것입니다. 때때로, 그것은 당신이 원하는 것입니다. 한 가지 예는 종속 변수가 이웃의 사회적 자본 인 경우입니다. 많은 사회적 자본을 가진 한 사람의 존재는 전체 이웃에게 매우 중요 할 수 있습니다.

— 피터 플 로움-모니카 복원
소스

6

첫 문장에 도전하겠습니다. OLS와 Quantile Regression (QR)은 데이터 생성 프로세스 대해 를 추정 하고 있습니다 . 오류 분포에 꼬리가 많은 경우 이 보다 효율적 입니다. 조건부 분포 의 어느 시점에 관계없이 보다 효율적인 및 중 하나를 사용해야합니다 .

β

$\beta$

y = X β + ε

$y=X\beta+\varepsilon$

{\hat{β}}^{Q R}

$\hat\beta^{QR}$

{\hat{β}}^{O L S}

$\hat\beta^{OLS}$

P (y | X)

$P(y|X)$

{\hat{β}}^{O L S}

$\hat\beta^{OLS}$

{\hat{β}}^{Q R}

$\hat\beta^{QR}$

— Richard Hardy

이 응답에 대한 @RichardHardy의 비판에 따르면 중앙값은 추정 가능한 Quantile 중 하나 일뿐 입니다. 이 Hyndman 용지는 그가 호출하는 방법 소개 첨가제 분위수 회귀 강화 , 분위의 전체 범위를 탐구 전기 스마트 미터 데이터의 예측 불확실성 첨가제 분위수 회귀 증폭에 의해 ( ieeexplore.ieee.org/document/7423794을 ).

— Mike Hunter

15

질문의 전제에 혼란이있는 것 같습니다. 두 번째 단락에서는 "중앙 회귀를 OLS 대체물로 사용할 수 있습니다"라고 말합니다. X에서 조건부 중앙값을 회귀하는 것은 (양식의) Quantile 회귀입니다.

기본 데이터 생성 프로세스의 오류가 정규 분포 (잔차가 정상인지 여부를 확인하여 평가할 수있는 경우) 인 경우 조건부 평균은 조건부 중앙값과 같습니다. 또한, 관심있는 임의의 Quantile (예 : 95 번째 백분위 수 또는 37 번째 백분위 수)은 표준 OLS 방법으로 X 차원의 주어진 지점에 대해 결정될 수 있습니다. Quantile 회귀의 주요 매력은 OLS보다 강력하다는 것입니다. 단점은 모든 가정이 충족되면 효율성이 떨어질 것입니다. 즉, 동일한 검정력을 달성하려면 더 큰 표본 크기가 필요합니다.

— gung-복직 모니카
소스

12

$\beta$

와이 = 엑스 β + ε

$y = X\beta + \varepsilon$

$\hat\beta_{QR}$ $\hat\beta_{OLS}$ $\hat\beta_{OLS}$ $P_Y(y|X)$ $\hat\beta_{OLS}$ $\hat\beta_{QR}$

$\hat\beta_{OLS}$ $\hat\beta_{QR}$ $\hat\beta_{OLS}$ $\hat\beta_{QR}$

참고 문헌 :

Koenker, Roger 및 Gilbert Bassett Jr. "회귀 Quantiles" 계량 경제학 : 계량 경제 학회지 (1978) : 33-50.

— 리차드 하디
소스

3

Peter Flom은 훌륭하고 간결한 대답을했습니다. 질문의 가장 중요한 부분은 "나쁘다"를 정의하는 방법입니다.

더 나쁘게 정의하려면 몇 가지 메트릭스와 피팅을 손실 함수라고하는 것이 얼마나 좋은지 계산하는 함수가 필요합니다.

우리는 손실 함수에 대해 다른 정의를 가질 수 있으며, 각 정의에 옳고 그름은 없지만, 다른 정의는 다른 요구를 충족시킵니다. 잘 알려진 두 가지 손실 함수는 제곱 손실과 절대 값 손실입니다.

엘_{에스 큐} (와이, \hat{와이}) = \sum_{나는} ({와이}_{나는} - {\hat{와이}}_{나는})^{2}

$L_{sq}(y,\hat y)=\sum_i (y_i-\hat y_i)^2$

엘_{에이 비 에스} (와이, \hat{와이}) = \sum_{나는} | {와이}_{나는} - {\hat{와이}}_{나는} |

$L_{abs}(y,\hat y)=\sum_i |y_i-\hat y_i|$

성공의 척도로 제곱 손실을 사용하는 경우 Quantile 회귀는 OLS보다 나쁩니다. 반면에 절대 값 손실을 사용하면 Quantile 회귀가 더 좋습니다.

Peter Folm의 답변은 다음과 같습니다.

평균에 관심이있는 경우 OLS를 사용하고 중앙값에있는 경우 Quantile을 사용하십시오.

— 하이 타오 뒤
소스

새로운 관찰 (목표가 예측 인 경우) 또는 매개 변수 벡터 추정 손실 (예 : 목표가 예측 인 경우)보다는 샘플 내 적합 (이미 샘플을 완벽하게 알고 있기 때문에 거의 관심이 없음)을 다루기 때문에 귀하의 예가 오도 될 수 있다고 생각합니다 ( 목표가 설명 일 때). 자세한 내용은 Peter Flom의 답변과 내 답변 아래에 의견을 남겨주세요.

— Richard Hardy

3

$Y$ $\frac{2}{\pi}$

평균을 추정하려면 Quantile Regression에서 얻을 수 없습니다.

평균을 추정하고 최소 가정 (양자 회귀보다 더 많은 가정)으로 Quantile을 계산하려고하지만 효율성이 더 높은 경우 반모 수 순서 회귀를 사용하십시오. 또한 초과 확률을 제공합니다. 자세한 사례 연구는 내 RMS 과정 노트에 있으며, 한 데이터 세트에서 여러 매개 변수 (사 분위수 및 평균)에 대한 평균 평균 절대 추정 오차가 순서 회귀에 의해 달성된다는 것을 보여줍니다. 그러나 평균을 추정하기 위해서는 OLS가 최고이고, 양자를 추정하기 위해서는 양자 회귀가 가장 좋습니다.

$Y$

— 프랭크 하렐
소스