다중 비교를 위해 다중 회귀 분석에서 p- 값을 조정하는 것이 좋은 생각입니까?

귀하가 서비스에 대한 관련 수요 예측자를 찾으려고하는 사회 과학 연구원 / 경제학자라고 가정 해 봅시다. 수요를 설명하는 2 개의 결과 / 종속 변수가 있습니다 (서비스 예 / 아니오 및 횟수 사용). 이론적으로 수요를 설명 할 수있는 10 개의 예측 변수 / 독립 변수가 있습니다 (예 : 연령, 성별, 소득, 가격, 인종 등). 두 개의 개별 다중 회귀 분석을 실행하면 20 개의 계수 추정치 및 p- 값이 생성됩니다. 회귀 분석에 독립 변수가 충분히 있으면 조만간 종속 변수와 독립 변수 사이의 통계적으로 유의 한 상관 관계가있는 하나 이상의 변수를 찾을 수 있습니다.

내 질문 : 회귀에 모든 독립 변수를 포함하려면 여러 테스트의 p- 값을 수정하는 것이 좋습니다. 이전 작업에 대한 언급은 대단히 감사합니다.

귀하의 질문은 일반적으로 좋은 예측 변수를 식별하는 문제를 해결하는 것 같습니다. 이 경우 L1, L2 (또는 이들의 조합, 소위 elasticnet ) 위약금 과 같은 일종의 불이익 회귀 사용 (변수 또는 기능 선택을 다루는 방법 도 관련이 있음)을 고려해야 합니다. 이 사이트 또는 R 처벌 및 엘라스틱 넷 패키지).

과다 낙관으로부터 보호하기 위해 회귀 계수 (또는 부분 상관 계수)의 p- 값을 수정하는 방법 (예 : Bonferroni 또는보다 나은 스텝 다운 방법)에 대해서는 고려중인 경우에만 관련이있는 것 같습니다. 하나의 모델을 설명하고 설명 된 분산의 중요한 부분에 기여하는 예측 변수를 찾습니다 (즉, 단계적 선택 또는 계층 적 테스트를 통해 모델 선택을 수행하지 않는 경우). 이 기사는 좋은 시작일 수 있습니다 . 회귀 계수 테스트의 Bonferroni 조정 . 이러한 수정은보고 된 p- 값에 영향을 미치는 다중 공선 성 문제로부터 사용자를 보호하지 않습니다.

귀하의 데이터가 주어지면 일종의 반복 모델 선택 기술을 사용하는 것이 좋습니다. 예를 들어 R stepAIC에서이 기능을 사용하면 정확한 AIC로 단계별 모델 선택을 수행 할 수 있습니다. boostrap을 사용하여 에 대한 기여도를 기반으로 예측 변수의 상대적 중요성을 추정 할 수도 있습니다 ( relaimpo 패키지 참조 ). 보고 효과 크기 측정 또는 설명 된 분산의 %는 특히 확인 모델에서 p- 값보다 유익합니다.$R^2$

단계별 접근 방식에는 단점도 있습니다 (예 : Wald 테스트는 단계별 절차에 의해 유도 된 조건부 가설에 적합하지 않음) 또는 Frank Harrell이 R mailing 에 지시 한대로 "AIC를 기반으로 한 단계별 변수 선택은 모든 P- 값에 기초한 단계적 변수 선택의 문제. AIC는 단지 P- 값의 재제 시일 뿐이다 "(그러나 예측 변수 세트가 이미 정의 된 경우 AIC는 여전히 유용하다); 관련 질문- 선형 회귀 모형에서 변수가 유의합니까? - 변수 선택을위한 AIC의 사용에 대한 흥미로운 의견 ( @Rob 등)이 제기 되었습니다. 마지막에 몇 가지 참고 문헌을 추가합니다 ( @Stephan이 친절하게 제공 한 논문 포함)); P.Mean에 대한 다른 참조도 많이 있습니다.

Frank Harrell 은이 문제에 대한 많은 토론과 조언을 포함하는 회귀 모델링 전략 에 관한 책을 저술했습니다 (§4.3, pp. 56-60). 또한 일반화 된 선형 모델을 처리하기 위해 효율적인 R 루틴을 개발했습니다 ( 디자인 또는 rms 패키지 참조). 그래서, 당신은 분명히 그것을 봐야한다고 생각합니다 (그의 유인물 은 그의 홈페이지에서 구할 수 있습니다).

참고 문헌

1. Whittingham, MJ, Stephens, P, Bradbury, RB 및 Freckleton, RP (2006). 왜 우리는 여전히 생태와 행동에서 단계적 모델링을 사용합니까? 동물 생태학 저널 , 75 , 1182-1189.
2. PC, 오스틴 (2008). 부트 스트랩 모델 선택은 후진 변수 제거와 비교하여 실제 변수와 노이즈 변수를 선택하는 데 비슷한 성능을 나타 냈습니다 . 임상 역학 저널 , 61 (10) , 1009-1017.
3. Austin, PC 및 Tu, JV (2004). 로지스틱 회귀 분석을위한 자동화 된 변수 선택 방법은 급성 심근 경색 사망률을 예측하기위한 불안정한 모델을 생성했습니다 . 임상 역학 저널 , 57 , 1138–1146.
4. 그린란드, S (1994). 다중 노출의 역학적 분석을위한 계층 적 회귀 . 환경 건강 전망 , 102 (Suppl 8) , 33–39.
5. 그린란드, S (2008). 일반적인 역학에서 다중 비교 및 ​​연관성 선택 . 국제 역학 저널 , 37 (3) , 430-434.
6. Beyene, J, Atenafu, EG, Hamid, JS, To, T 및 Sung L (2009). 예측 모델을 개발하고 검증 할 때 변수의 상대적 중요성을 결정합니다 . BMC 의료 연구 방법론 , 9 , 64.
7. Bursac, Z, Gauss, CH, Williams, DK 및 Hosmer, DW (2008). 로지스틱 회귀 분석에서 목적에 맞는 변수 선택 . 생물학 및 의학 소스 코드 , 3 , 17.
8. Brombin, C, Finos, L 및 Salmaso, L (2007). 일반화 선형 모형에서 단계적 p- 값 조정 . 다중 비교 절차에 관한 국제 회의 . step.adj()-R someMTP 패키지를 참조하십시오 .
9. RE (Wiegand, RE) (2010). 변수 선택에 여러 단계적 알고리즘을 사용하는 성능 . 의학 통계 , 29 (15), 1647–1659.
10. Moons KG, Donders AR, Steyerberg EW 및 Harrell FE (2004). 이진 결과를 예측하기위한 최대 가능성 추정치에 불이익을줍니다. 임상 역학 저널 , 57 (12) , 1262–1270.
11. Tibshirani, R (1996). 올가미를 통한 회귀 수축 및 선택 . 왕립 통계 학회지 B , 58 (1) , 267-288.
12. Efron, B, Hastie, T, Johnstone, I 및 Tibshirani, R (2004). 최소 각도 회귀 . 통계 분석 , 32 (2) , 407-499.
13. Flom, PL 및 Cassell, DL (2007). 단계적 중지 : 단계적 및 유사한 선택 방법이 나쁜 이유와 사용해야 할 사항 . NESUG 2007 절차 .
14. Shtatland, ES, Cain, E. 및 Barton, MB (2001). 단계적 로지스틱 회귀의 위험과 정보 기준 및 출력 전달 시스템을 사용하여이를 피하는 방법 . SUGI 26 절차 (pp. 222–226).

보유한 데이터를 기반으로 어떤 모델을 준비하든 충분한 데이터를 무작위로 보유 한다면 원하는 만큼 무엇이든 할 수 있습니다. 50 % 분할은 좋은 생각 일 수 있습니다. 그렇습니다. 관계를 감지 할 수있는 능력이 약간 떨어지지 만 얻는 것은 엄청납니다. 즉, 작품 을 게시하기 전에 복제 할 수 있습니다 . 통계 기술이 아무리 정교하게 수행 되더라도 확인 데이터에 적용 할 때 얼마나 많은 "중요한"예측 변수가 완전히 쓸모 없게 되는가에 놀랄 것입니다.

예측과 관련된 "관련성"은 낮은 p- 값 이상을 의미한다는 점도 명심하십시오. 결국이 특정 데이터 집합에서 발견 된 관계가 우연이 아니라는 것을 의미합니다. 예측의 경우 예측에 상당한 영향을 미치는 변수를 찾는 것이 더 중요합니다 (모델에 과적 합하지 않음). 즉, "진짜"될 가능성이있는 변수를 찾아 와, 값 (샘플에서 발생할 수뿐 아니라 값!)의 합리적인 범위에서 변화 할 때 predictand가 상당히 달라질 수. 모형을 확인하기 위해 데이터를 보유하면 p- 값이 낮지 않은 한계 "유의 한"변수를 잠정적으로 유지하는 것이 더 편할 수 있습니다.

이러한 이유로 (및 chl의 정답을 바탕으로) 단계별 모델, AIC 비교 및 ​​Bonferroni 수정이 매우 유용하지만 (특히 수백 또는 수천 개의 가능한 예측 변수가 있음) 이러한 변수가 변수의 유일한 결정 요인이 아니어야합니다. 모델을 입력하십시오. 이론에 의해 제공된 지침을 놓치지 마십시오. 모델에 대한 이론적 근거가 강한 변수는 중요하지 않은 경우에도 조건부 방정식 ( 예 : 공선 성)을 생성하지 않는 한 유지되어야합니다. .

주의 : 모델을 정하고 홀드 아웃 데이터를 사용하여 그 유용성을 확인한 후, 최종 추정을 위해 홀드 아웃 데이터와 유지 된 데이터를 다시 결합하는 것이 좋습니다. 따라서 모형 계수를 추정 할 수있는 정밀도 측면에서 손실이 없습니다.

나는 이것이 매우 좋은 질문이라고 생각한다. 역학에서 계량 경제학에 이르기까지 다양한 분야를 괴롭히는 논쟁적인 다중 테스트 "문제"의 핵심에 도달합니다. 결국, 어떻게 할 수 우리가 찾을 의미가 가짜인지 아닌지 우리는 알지? 다 변수 모델이 얼마나 사실입니까?

노이즈 변수를 게시 할 가능성을 상쇄하기위한 기술적 접근 방식의 관점에서 샘플의 일부를 학습 데이터로 사용하고 나머지는 테스트 데이터로 사용하는 것이 좋습니다. 이것은 기술 문헌에서 논의되는 접근 방식이므로 시간이 걸리면 사용 방법과시기에 대한 좋은 지침을 찾을 수 있습니다.

그러나 다중 테스트 의 철학 에 보다 직접적으로 맞서기 위해 아래에서 참조하는 기사를 읽는 것이 좋습니다. 일부는 다중 테스트에 대한 조정이 종종 해롭고 (비용) 불필요하며 논리적 인 오류 일 수 있다는 입장을지지합니다. . 나는 하나의 잠재적 예측 변수를 조사하는 우리의 능력이 다른 예측 자의 조사에 의해 불가피하게 감소된다는 주장을 자동적으로 받아들이지 않습니다. 가족 현명한 유형 1 오류 비율이 너무 오래 우리는 우리의 샘플 크기, 각 유형 1 오류의 가능성의 한계를 넘어 가지 않는 한 우리는 주어진 모델에서 더 예측을 포함 늘어날 수 있지만, 개별예측 변수는 일정하다; 가족 별 오류를 통제한다고해서 어떤 특정 변수가 소음이고 어떤 변수가 아닌지를 밝히지 않습니다. 물론, 강력한 반대론도 있습니다.

따라서 잠재적 변수 목록을 그럴듯한 (즉, 결과에 대한 알려진 경로가있는) 변수로 제한하는 경우 스퓨리어스의 위험은 이미 상당히 잘 처리됩니다.

그러나 예측 모델은 인과 적 모델 로서 예측 변수의 "진실 값"과 관련이 없다고 덧붙 입니다. 모델에는 많은 혼란이있을 수 있지만, 큰 차이를 설명하는 한 너무 걱정하지 않아도됩니다. 이것은 적어도 한 가지 의미에서 작업을 더 쉽게 만듭니다.

건배,

Brenden, 생물 통계 컨설턴트

추신 : 두 개의 개별 회귀 대신 설명하는 데이터에 대해 0으로 팽창 된 포아송 회귀를 수행 할 수 있습니다.

1. Perneger, TV Bonferroni 조정에 문제가 있습니다. BMJ 1998; 316 : 1236
2. Cook, RJ & Farewell, VT 임상 시험의 설계 및 분석에서 다중성 고려 사항 . 왕립 통계 학회지 , 시리즈 A 1996; Vol. 159, 1 호 : 93-110
3. Rothman, KJ 다중 비교에는 조정이 필요하지 않습니다 . 역학 1990; Vol. 1, 1 호 : 43-46
4. Marshall, JR 데이터 준설 및 주목 . 역학 1990; Vol. 1, 1 호 : 5-7
5. 여러 비교를위한 Greenland, S. & Robins, JM Empirical-Bayes 조정이 때때로 유용합니다 . 역학 1991; Vol. 2, No. 4 : 244-251

여기에 좋은 답변이 있습니다. 다른 곳에서는 다루지 않는 작은 점 몇 개를 추가하겠습니다.

먼저 응답 변수의 특성은 무엇입니까? 더 구체적으로, 그들은 서로 관련이있는 것으로 이해됩니까? 독립 (이론적으로) 것으로 이해되는 경우 / 두 모델의 잔차가 독립적으로 (임시적으로) 이해되는 경우 두 개의 개별 다중 회귀 분석 만 수행해야합니다. 그렇지 않으면 다변량 회귀를 고려해야합니다. ( '다변량'은> 1 반응 변수를 의미하고 '다중'은> 1 예측 변수를 의미합니다.)

명심해야 할 또 다른 점은 모형 에 모든 예측 변수에 대한 동시 검정 인 전역 검정이 포함되어 있다는 것입니다 . 전체 검정이 '유의하지 않음'일 수도 있지만 일부 개별 예측 변수는 '유의 한'것으로 보입니다. 그것이 발생하면 일시 중지해야합니다. 반면에 전역 테스트에서 예측 변수 중 적어도 일부가 관련되어 있음을 시사하면 다중 비교 문제로부터 보호 할 수 있습니다 (즉, 모든 널이 참인 것은 아닙니다). $F$

관련이없는 것처럼 보이는 회귀를 수행하고 F 테스트를 사용할 수 있습니다. 다음과 같은 형식으로 데이터를 넣으십시오.

Out1 1 P11 P12 0  0   0
Out2 0 0   0   1  P21 P22

결과가 y 변수 일 때 첫 번째 결과의 예측 변수에 값이 있고 그렇지 않으면 0이됩니다. y는 두 결과의 목록입니다. P11과 P12는 첫 번째 결과에 대한 두 예측 변수이고 P21과 P22는 두 번째 결과에 대한 두 예측 변수입니다. 예를 들어 섹스가 두 결과 모두에 대한 예측 변수 인 경우 결과 2를 예측할 때 결과 1을 예측하는 데 사용되는 변수는 개별 변수 / 열에 있어야합니다. 이렇게하면 회귀 분석에 따라 각 결과에 대한 성별에 대한 기울기 / 영향이 달라집니다.

이 프레임 워크에서 표준 F 테스트 절차를 사용할 수 있습니다.