왜 단 변량 회귀와는 달리 다변량 회귀가 필요한가?

방금이 훌륭한 책을 찾아 보았습니다 : Johnson과 Wichern의 다변량 통계 분석을 적용했습니다 . 아이러니 한 점은, 여전히 개별 단 변량 (회귀) 모델 대신 다변량 (회귀) 모델을 사용하는 동기를 이해할 수 없다는 것입니다. 나는 (a) 다변량 회귀 분석과 다변량 회귀 분석 결과의 해석을 설명하는 stats.statexchange post 1 과 2 를 겪었 지만, 나는 모든 정보에서 다변량 통계 모델의 사용을 조정할 수는 없다. 그들에 대해 온라인으로 연결하십시오.

내 질문은 :

1. 왜 다변량 회귀가 필요합니까? 추론을 도출하기 위해 개별적이 아닌 결과를 동시에 고려하면 어떤 이점이 있습니까?
2. 다변량 모델을 사용하는 경우와 여러 일 변량 모델을 사용하는시기 (여러 결과에 대해).
3. 제어의 중심, 자기 개념 및 동기 부여의 세 가지 결과와 함께 UCLA 사이트에 제공된 예를 들어보십시오 . 1과 2와 관련하여 3 개의 단 변량 다중 회귀 분석과 하나의 다변량 다중 회귀 분석을 수행 할 때 분석을 비교할 수 있습니까? 서로를 정당화하는 방법?
4. 다변량 통계 모델을 사용하는 많은 학술 논문을 보지 못했습니다. 다변량 정규성 가정, 모형 적합 / 해석의 복잡성 또는 기타 특정 이유 때문입니까?

연결 한 UCLA 사이트에서 전체 예제를 읽었습니까?

1 관련 :
다변량 모델을 사용하면 결과에 대한 계수를 공식적으로 (추론 적으로) 비교하는 데 도움이됩니다.
이 링크 된 예에서, 그들은 다변량 모델을 사용하여 write계수가 locus_of_control결과 대 결과에 대해 유의하게 다른지 여부를 테스트합니다 self_concept. 나는 심리학자는 아니지만, 글쓰기 능력이 같은 방식으로 두 가지 다른 정신 변수에 영향을 줄지 / 예측할 ​​것인지 묻는 것이 아마 흥미 롭습니다. (또는, 널을 믿지 않는다면 효과가 실제로 다른지 확실하게 입증 하기에 충분한 데이터를 수집했는지 여부를 묻는 것이 여전히 흥미 롭습니다 .)
별도의 일 변량 분석을 실행하면 비교하기가 더 어려울 것입니다.write두 모델의 계수. 두 추정치 모두 동일한 데이터 세트에서 가져 오므로 상관됩니다. 다변량 모델은이 상관 관계를 설명합니다.

또한, 4에 대하여 :
이 있는 등 매우 일반적으로 사용되는 다변량 모델, 반복 측정 분산 분석 . 적절한 연구 설계를 통해 모든 환자에게 여러 가지 약물을 제공하고 모든 약물 후에 각 환자의 건강을 측정한다고 가정하십시오. 또는 종단 데이터와 마찬가지로 시간이 지남에 따라 어린이의 키를 말하는 것과 동일한 결과를 측정한다고 상상해보십시오. 그런 다음 각 유닛에 대해 여러 개의 결과가 나타납니다 ( "같은"유형의 측정을 반복하는 경우에도 해당). 약물 A와 약물 B의 효과 비교 또는 약물 A와 B와 위약의 평균 효과 비교와 같은 간단한 대조를하고 싶을 것입니다. 이를 위해 반복 측정 ANOVA는 적절한 다변량 통계 모델 / 분석입니다.

모든 생각해 거짓 때로는 위험 단순히 곱한 확률에서 온 생각의 결론 이벤트는 독립적이다. 모든 중복 안전 장치가 내장되어 있기 때문에 독립 가정을 사용하여 원자력 발전소 전문가를 투입하여 주요 원자력 사고의 가능성은 무한 하다고 말했습니다 . 그러나 Three Mile Island에서 보았 듯이 인간은 특히 초기 오류로 인해 공황 상태에있을 때 특히 오류를 범할 수 있습니다. 인간 행동을 특징 짓는 사실적인 다변량 모델을 구성하는 것은 어려울 수 있지만 끔찍한 모델의 영향 (독립적 인 오류)을 실현하는 것은 분명합니다.

가능한 많은 다른 예가 있습니다. 내가 걸릴 것입니다 가능한 또 다른 예로서 도전자 셔틀 재해를. 문제는 저온 조건에서 발사할지 여부였습니다. O- 링이 저온에서 고장날 수 있음을 나타내는 일부 데이터가있었습니다. 그러나 위험이 얼마나 높았는지 명확하게하기 위해 통과 된 임무에서 얻은 데이터는 많지 않았습니다. NASA는 항상 우주 비행사의 안전에 관심을 기울였으며, 많은 임무를 수행하기 위해 우주선을 발사하고 차량을 발사했습니다.

그러나 1986 년 이전에는 가능한 모든 실패 모드를 식별하지 못해 (일부 어려운 작업) 일부 시스템 오류와 거의 실패가있었습니다. 신뢰성 모델링은 어려운 사업입니다. 그러나 그것은 또 다른 이야기입니다. 셔틀의 경우 O- 링 제조업체 (Morton Thiokol)는 O- 링에 대한 테스트를 수행하여 저온에서의 고장 가능성을 나타 냈습니다.

그러나 제한된 수의 미션에 대한 데이터는 온도와 고장 사이의 관계를 보여 주었지만 중복성을 통해 일부 관리자는 여러 O- 링 장애가 발생하지 않을 것이라고 생각 했기 때문에 NASA에 압력을가했습니다.

물론 결정을 이끌어 낸 많은 다른 요소들이있었습니다. 레이건 대통령 은 우주 비행사 가 아닌 평범한 사람들 이 셔틀을 안전하게 여행 할 수 있을 정도로 안전하다는 것을 보여주기 위해 교사를 우주에 두는 것이 얼마나 염려 했는지 기억하십시오 . 따라서 정치적 압력은 결정에 영향을 미치는 또 다른 큰 요인이었습니다. 이 경우 충분한 데이터와 다변량 모델을 사용하면 위험을보다 잘 입증 할 수 있습니다. NASA는주의의 측면에서 실수를 시도합니다. 이 경우 플로리다의 날씨가 예열 될 때까지 며칠 동안 발사를 시작하면 신중할 것입니다.

재난 이후의 커미션, 엔지니어, 과학자 및 통계학자는 많은 분석을 수행했으며 논문이 발표되었습니다. 그들의 견해는 나의 것과 다를 수 있습니다. Edward Tufte는 그래픽에 관한 일련의 책 중 하나에서 좋은 그래픽이 더 설득력이 있었음을 보여주었습니다 . 그러나 결국 이러한 분석은 모두 장점이 있지만 정치가 여전히 승리했을 것이라고 생각합니다.

이 이야기의 교훈은 하지 이러한 재해가 변수 방법의 사용 동기를 부여하지만, 오히려 무시 의존 때로는 위험의 총 과소 평가로 이어질 것을 가난한 분석이. 이것은 위험 할 수있는 과신을 초래할 수 있습니다. jwimberley가이 스레드에 대한 첫 번째 주석에서 지적했듯이 "별도의 단 변량 모델은 상관 관계를 무시합니다."

p의 인용문을 고려하십시오. 다시 올슨의 책 (36) 시도 할 수있는 권리 [1]

그러나 [eteplirsen] 주입이 시작된 지 약 16 주 후에 Jenn은 [그녀의] Max의 변화를 알아 채기 시작했습니다. "아이는 휠체어 사용을 원치 않았습니다"라고 그녀는 말합니다. 몇 주 후, 그는 몇 년 동안하지 않았던 일을 외부에서 해달라고 요청했습니다. 그런 다음 Max는 훌륭한 운동 능력을 회복하기 시작했습니다. 그는 용기를 다시 열 수있었습니다. 그의 [듀켄 근이영양증]이 진행되면서 잃어버린 기술입니다.

맥스의 어머니 젠은 구축하고 일관성있는 사진을 여러 결과에서 함께 증거를 잡아 당겨, 그의 개선을 개별적으로 '소음'으로 기각 될 수있다,하지만 함께 매우 강력한입니다. (이 증거 합성 원리는 소아과 전문의가 일반적으로 "내 아이에 문제가있다"는 부모의 본능적 추론을 결코 무시하지 않는 이유의 일부입니다. 부모는 자녀가 '올리고 변량'보다 훨씬 더 풍부한 '다변량 종단 분석'에 접근 할 수 있습니다. 한 번의 간단한 임상 적 만남에서 임상의가 이용할 수있는 단면 분석.)

$p>0.05$

이러한 증거 합성을 달성하는 것은 임상 시험에서 다변량 결과 분석의 핵심 근거입니다. 의학 연구의 통계적 방법은 몇 년 전 다변량 결과의 '조인트 모델링 (Joint Modeling)'에 관한 특별한 문제를 안고 있었다 .

1. 올슨, 다르시 시도 할 권리 : 연방 정부가 미국인들이 필요한 생명을 구하는 치료를받지 못하게하는 방법. 초판. 뉴욕, 뉴욕 : Harper, HarperCollins Publishers, 2015의 각인.
2. Rizopoulos, Dimitris 및 Emmanuel Lesaffre. “조인트 모델링 기법에 대한 특별 이슈 소개.”의학 연구의 통계적 방법 23, no. 1 (2014 년 2 월 1 일) : 3–10. doi : 10.1177 / 0962280212445800.

그것이 내가 실제로 기여할 수있는 전부이기 때문에 간단한 비유를하자. 단 변량 대 다변량 회귀 대신 단 변량 (마진) 대 다변량 (조인트) 분포를 고려해 봅시다. 다음 데이터가 있고 "이상 값"을 찾고 싶다고 가정하십시오. 첫 번째 접근 방식으로, 나는 두 개의 한계 ( "일 변량") 분포를 사용하고 각각의 하위 2.5 %와 상위 2.5 %에서 선을 그릴 수 있습니다. 결과 선을 벗어나는 점은 특이 치로 간주됩니다.

그러나 두 가지 : 1) 한 축의 선 외부에 있지만 다른 축의 선 내부에있는 점에 대해 어떻게 생각합니까? 그들은 "부분 특이 치"입니까? 그리고 2) 결과 상자는 실제로 우리가 원하는 것을하는 것처럼 보이지 않습니다. 물론 두 변수가 서로 관련되어 있고 직관적으로 원하는 것은 변수 조합을 고려할 때 특이한 특이 치를 찾는 것입니다.

이 경우, 우리는 관절 분포를 살펴보고, 중심으로부터의 마할 라 노비스 거리가 5 % 이내인지 여부에 따라 점을 색으로 구분했습니다. 일부 특이 치가 두 녹색 선 세트 내에 있고 일부 비 이상치 (빨간색)가 두 녹색 선 세트 밖에있는 경우에도 검은 점은 특이 치처럼 보입니다 .

두 경우 모두 95 %와 5 %를 구분하지만 두 번째 기법은 공동 분포를 설명합니다. 다변량 회귀는 "분포"를 "회귀"로 대체하는 것과 같습니다. 나는 그것을 완전히 얻지 못하고 다변량 회귀를 스스로 할 필요가 없었지만 이것이 내가 생각하는 방식입니다.

[비유에는 문제가있다 : Mahalanobis 거리는 두 변수를 단일 숫자로 줄인다-일 변량 회귀가 독립적 인 변수를 취하고 올바른 기술을 사용하여 독립 변수 간의 공분산과 결과를 고려할 수있는 것과 같은 것 단일 종속 변수-다변량 회귀로 인해 여러 종속 변수가 생성됩니다. 따라서 일종의 거꾸로 되겠지만, 직감적으로 전달하기에 충분할 것입니다.]

1) 자연이 항상 단순하지는 않습니다. 실제로, 우리가 연구하는 대부분의 현상 (결과)은 여러 변수에 따라 복잡한 방식으로 결정됩니다. 한 번에 하나의 변수를 기반으로하는 추론 모델은 높은 편향을 가질 가능성이 높습니다.

2) 일 변량 모델은 정의에 따라 가장 간단한 모델입니다. 처음으로 문제를 조사하고 있고 가장 중요한 단일 기능을 파악하려는 경우에는 문제가 없습니다. 그러나 당신이 그것에 대해 더 깊이 이해하고 싶다면, 당신이하고있는 일을 신뢰하기 때문에 실제로 활용할 수있는 이해는 다변량 분석을 사용할 것입니다. 다변량 변수 중에서 모델 정확도에 관심이 있다면 상관 패턴을 이해하는 것을 선호해야합니다.

3)이 글을 읽을 시간이 없습니다.

4) 다변량 기법을 사용한 논문은 요즘 매우 일반적이며 일부 분야에서는 매우 일반적입니다. 매년 발표되는 수백 가지가 넘는 논문이 큰 Hadron Collider 데이터 (입자 물리학의 예를 들기 위해)를 사용한 CERN 실험에서 다변량 기법을 사용합니다.

https://inspirehep.net/search?ln=ko&ln=en&p=find+cn+cms+&of=hb&action_search=Search&sf=earliestdate&so=d&rm=&rg=25&sc=0

내 대답은 회귀로 수행하려는 작업에 따라 다릅니다. 다른 계수의 효과를 비교하려는 경우 회귀가 올바른 도구가 아닐 수 있습니다. 독립적 인 것으로 입증 된 다른 계수를 사용하여 예측하려는 경우 다중 회귀 분석을 사용해야합니다.

요인들이 서로 관련이 있습니까? 그렇다면 다변량 회귀 분석은 잘못된 모형을 제공 할 수 있으며 VIF 또는 릿지 회귀 분석과 같은 방법을 사용하여 상호 상관을 다듬어야합니다. 상호 상관 요인이 제거 될 때까지 계수를 비교해서는 안됩니다. 그렇게하면 재난이 발생할 수 있습니다. 이들이 상호 상관이 아닌 경우, 다변량 계수는 단 변량 계수와 비슷해야하며 이는 놀라운 일이 아닙니다.

결과는 사용중인 소프트웨어 패키지에 따라 달라질 수도 있습니다. 농담이 아닙니다. 소프트웨어 패키지마다 다변량 회귀를 계산하는 방법이 다릅니다. (나를 믿지 않겠습니까? 표준 R 회귀 패키지 가 원점을 가로 채지 않고 강제로 R ² 를 계산하는 방법을 확인하십시오 . 턱이 바닥에 닿아 야합니다.) 소프트웨어 패키지가 회귀를 수행하는 방법을 이해해야합니다. 상호 상관을 어떻게 보상합니까? 순차적 또는 매트릭스 솔루션을 수행합니까? 나는 과거에 이것으로 좌절했다. 다른 소프트웨어 패키지에 대해 다중 회귀 분석을 수행하고 얻을 수있는 것을 확인하십시오.

또 다른 좋은 예는 다음과 같습니다.

이 방정식에서 회귀 계수 (또는 B 계수)는 종속 변수 예측에 대한 각 독립 변수의 독립 기여를 나타냅니다. 이 사실을 표현하는 또 다른 방법은 예를 들어 변수 X1이 다른 모든 독립 변수를 제어 한 후 Y 변수와 상관되어 있다는 것입니다. 이러한 유형의 상관 관계는 부분 상관 관계라고도합니다 (이 용어는 1907 년 Yule에 의해 처음 사용되었습니다). 아마도 다음 예제는이 문제를 명확히 할 것입니다. 모집단의 모발 길이와 키 사이에 유의 한 음의 상관 관계가있을 수 있습니다 (즉, 짧은 사람은 더 긴 모발을 가짐). 처음에는 이것이 이상하게 보일 수 있습니다. 그러나 다중 회귀 방정식에 변수 성별을 추가하면이 상관 관계가 사라질 수 있습니다. 평균적으로 여성은 남성보다 머리카락이 길기 때문입니다. 그들은 또한 남자보다 평균적으로 짧습니다. 따라서 성별에 방정식을 입력하여이 성별 차이를 제거한 후에는 머리카락 길이가 높이를 예측하는 데 고유 한 기여를하지 않기 때문에 머리카락 길이와 높이 사이의 관계가 사라집니다. . 다시 말해, 변수 성별을 제어 한 후 모발 길이와 높이의 부분 상관 관계는 0입니다. 모발 길이는 변수 성별로 예측에서 공유하는 것 이상으로 높이 예측에 고유 한 기여를하지 않기 때문에 모발 길이와 키 사이의 관계가 사라집니다. 다시 말해, 변수 성별을 제어 한 후 모발 길이와 높이의 부분 상관 관계는 0입니다. 모발 길이는 변수 성별로 예측에서 공유하는 것 이상으로 높이 예측에 고유 한 기여를하지 않기 때문에 모발 길이와 키 사이의 관계가 사라집니다. 다시 말해, 변수 성별을 제어 한 후 모발 길이와 높이의 부분 상관 관계는 0입니다. http://www.statsoft.com/Textbook/Multiple-Regression

다중 회귀를 사용하는 함정이 너무 많아서 사용하지 않으려 고합니다. 당신이 그것을 사용한다면, 결과에 매우주의하고 결과를 다시 확인하십시오. 상관 관계를 확인하기 위해 항상 데이터를 시각적으로 그려야합니다. (귀하의 소프트웨어 프로그램이 상관 관계가 없다고 말했기 때문에 상관 관계가 없음을 의미하지는 않습니다. 재미있는 상관 관계 ) 항상 상식에 대해 결과를 확인하십시오. 한 변수가 일 변량 회귀 분석에서 강한 상관 관계를 나타내지 만 다변량에서는 아무 상관 관계가없는 경우 결과를 공유하기 전에 이유를 이해해야합니다 (위의 성별 요인이 좋은 예입니다).