일반화 된 선형 모델 (GLM)의 잠재 변수 해석

짧은 버전 :

로지스틱 회귀 및 프로 빗 회귀는 관측하기 전에 일정한 임계 값에 따라 이산화되는 연속 잠재 변수를 포함하는 것으로 해석 될 수 있음을 알고 있습니다. 포아송 회귀에 대해 유사한 잠재 변수 해석이 가능한가? 불연속 결과가 두 개 이상일 때 이항 회귀 (예 : 로짓 또는 프로 빗)는 어떻습니까? 가장 일반적인 수준에서 잠재적 변수 측면에서 GLM을 해석하는 방법이 있습니까?

긴 버전 :

이진 결과에 대한 프로 빗 모델의 동기를 부여하는 표준 방법은 다음과 같습니다 (예 : Wikipedia ). 예측 변수 에 조건부로 분포 된 관찰되지 않은 / 잠재적 인 결과 변수 $Y$ 가 있습니다. 이 잠재 변수는 임계 값 프로세스를 거치므로 실제로 관찰되는 불연속 결과는 인 경우 이고 경우 입니다. 이것은 주어질 때 의 확률로 이어 집니다 $X$ $u=1$ $Y \ge \gamma$ $u=0$ $Y < \gamma$ $u=1$ $X$ 평균 및 표준 편차, 한계의 함수 노멀 CDF의 형태를 취할 $\gamma$ 및 회귀의 기울기 $Y$ 의 $X$ 각각. 그래서 프로 빗 모델의 잠재 회귀 기울기를 추정하는 방법으로 동기를 $Y$ 에 $X$ .

이것은 Thissen & Orlando (2001)의 아래 그림에 나와 있습니다. 이 저자들은 우리의 목적을 위해 프로 빗 회귀와 매우 비슷하게 보이는 항목 반응 이론의 정상적인 ogive 모델에 대해 기술적으로 논의하고 있습니다 (이 저자 는 대신에 $\theta$ 를 사용 하고 확률은 일반적인 대신 로 작성됩니다 ). $X$ $T$ $P$

로지스틱 회귀 분석 은 거의 같은 방식으로 해석 할 수 있습니다 . 유일한 차이점은 이제 관찰되지 않은 연속 주어진 정규 분포가 아닌 로지스틱 분포를 따른다는 것 입니다. 왜 가 정규 분포가 아닌 로지스틱 분포를 따르는 지에 대한 이론적 논증 은 조금 덜 명확합니다. 실제로 어떤 모델을 사용 하느냐가 중요합니다. 요점은 두 모델 모두 매우 간단한 잠재 변수 해석을 가지고 있다는 것입니다. $Y$ $X$ $Y$

비슷한 모양의 (또는 지옥처럼 보이지 않는) 잠재 변수 해석을 다른 GLM 또는 모든 GLM에 적용 할 수 있는지 알고 싶습니다 .

이항 결과 (예 : Bernoulli 결과 만이 아님) 를 설명하기 위해 위의 모델을 확장하더라도 나에게는 분명하지 않습니다. 아마도 하나의 임계 값 대신에 다중 임계 값 (관찰 된 개별 결과의 수보다 하나 적은)이 있다고 상상함으로써이를 수행 할 수 있습니다. 그러나 우리는 임계 값에 일정한 간격을 두는 것과 같은 임계 값을 적용해야합니다. 세부 사항을 해결하지는 않았지만 이와 같은 것이 작동 할 수 있다고 확신합니다. $n>1$ $\gamma$

포아송 회귀의 경우로 이동하면 나에게 분명하지 않습니다. 이 경우 임계 값 개념이 모델을 생각하는 가장 좋은 방법인지 확실하지 않습니다. 또한 잠재적 결과가 무엇인지 생각할 수있는 분포가 확실하지 않습니다.

이에 대한 가장 바람직한 해결책은 해석의 일반적인 방법이 될 것입니다 어떤 이 일반적인 솔루션은 의미했다하더라도 - 어떤 배포판 또는 기타와 잠재 변수의 측면에서 GLM을 다른 로짓 / 프로 빗 회귀에 대한 평소보다 잠재 변수 해석. 물론 일반적인 방법이 로짓 / 프로 빗에 대한 일반적인 해석에 동의하지만 자연스럽게 다른 GLM으로 확장된다면 훨씬 더 차가울 것입니다.

그러나 일반적인 GLM 사례에서 이러한 잠재 변수 해석이 일반적으로 사용 가능하지 않더라도 위에서 언급 한 이항 및 포아송 사례와 같은 특수 사례의 잠재 변수 해석에 대해서도 듣고 싶습니다.

참고 문헌

Thissen, D. & Orlando, M. (2001). 두 가지 범주로 분류 된 항목에 대한 항목 응답 이론. D. Thissen & Wainer, H. (Eds.), Test Scoring (pp. 73-140). Mahwah, NJ : Lawrence Erlbaum Associates, Inc.

2016-09-23 수정

GLM이 잠복 변수 모델이라는 한 가지 사소한 의미가 있습니다. 즉 "잠재적 변수"로 추정되는 결과 분포의 매개 변수를 항상 볼 수 있다는 것입니다. 즉, 직접 관찰하지 않습니다. 예를 들어, 포아송의 속도 매개 변수는 데이터에서 추론합니다. 이 해석에 따르면 때문에, 이것은 내가 찾고 정말 무엇을 오히려 사소한 해석 될, 그리고 생각 있는 (물론 다른 많은 모델의!) 선형 모델 것은이다 "잠재 변수 모델." 예를 들어, 정규 회귀 분석에서 주어지면 정상 의 "잠재적" 를 추정합니다. $\mu$ $Y$ $X$ . 따라서 이것은 잠재 변수 모델링과 매개 변수 추정을 혼동시키는 것으로 보입니다. 예를 들어, 포아송 회귀 분석에서 필자가 찾고있는 것은 관측 된 결과에 포아송 분포가 왜 있어야하는지에 대한 이론적 모델과 비슷할 것입니다. 잠재적 인 의 분포 , 선택 과정이있는 경우 등. 그렇다면 (아마도 결정적으로?) 추정 가능한 GLM 계수를 이러한 잠재 분포 / 프로세스의 매개 변수로 해석 할 수 있어야합니다. 잠재 정규 변수에서의 평균 이동 및 / 또는 임계치 에서의 이동으로 프로 빗 회귀의 계수를 해석한다 . $Y$ $\gamma$

— 제이크 웨스트 폴
소스

귀하의 질문을 "선형 예측기가 어떤 연속 분포의 위치 모수와 선택 모델에 해당하는 GLM 패밀리는 무엇입니까?" 프로 빗 및 로지스틱 회귀 분석의 경우 선형 예측 변수는 각각 가우시안 및 로지스틱 분포 위치 모수입니다. 선택 모델의 임계 값은 0입니다. (FWIW, 나는 다른 많은 것들이 없을 것이라고 생각합니다. 실제로 Probit / Logistic은 동일한 패밀리이지만 링크 기능이 다릅니다 ...)

— Andrew M

@AndrewM 나는 rephrasing이 아마도 별개의 결과를 가진 GLM에 효과가 있다고 생각합니다. 그러나 나는 그러한 위치 + 선택 모델이 지속적인 결과를 가진 GLM에 어떻게 작동하는지 알 수 없기 때문에 전체 질문을 줄이는 것을 망설이십시오. 이렇게 표현하면 GLM에 대한 답변을 거의 배제하는 것처럼 보일 것입니다.

— Jake Westfall

잠재 클래스 모델은 유한 혼합 모델 범주에 속합니다. 그것들을 생각하는 한 가지 간단한 방법은 학습 모델을 학습하는 것인데, 백엔드에서 잔차의 이질성을 모델에서 그룹으로 분할합니다. GLM을 포함한 모든 모델의 잔차에 내재 된 이질성에 유사한 논리 및 파티셔닝이 적용될 수 있습니다. 물론,이 파티셔닝에 대한 접근 방식은 사소한 선택이 될 수도 있고 kluge 솔루션 일 수도 있지만 작동 할 수도 있습니다.

— Mike Hunter

만약 glm이 분포

유도 할 수 없다면 우리 는

매우 많은 잠재 분포

를 선택합니다

f (y_{i} | η_{i})

$f(y_i|\eta_i)$

g (θ_{i} | η_{i})

$g(\theta_i|\eta_i)$

f (y_{i} | η_{i}) = \int f (y_{i} | η_{i}, θ_{i}) g (θ_{i} | η_{i}) d θ_{i}

$f(y_i|\eta_i) = \int f(y_i|\eta_i, \theta_i) g(\theta_i|\eta_i) d\theta_i$

— Andrew M

정렬 된 프로 빗도 비슷한 해석을 할 수 있습니다. ET 의 Becker & Kennedy 논문 을 참조하십시오 .

— Dimitriy V. Masterov

불연속 결과가 둘 이상인 모델의 경우 여러 가지 버전의 로짓 모델이 있습니다 (예 : 조건부 로짓, 다항 로짓, 혼합 로짓, 중첩 로짓 등). 주제에 대한 Kenneth Train의 책을 참조하십시오 : http://eml.berkeley.edu/books/choice2.html

예를 들어, 조건부 로짓에서 결과 는 개인이 선택한 차이며, 차 중에서 선택할 수 있고 car 는 의해 주어진 속성을 가질 수 있습니다. 그런 다음 개별 자동차 선택에서 유틸리티 를 수신 한다고 가정합니다 . 여기서 $y$ $J$ $j$ $x_j$ $i$ $u_{ij} = x_j \beta + \varepsilon_{ij}$ $j$ $\varepsilon_{ij}$ 는 type I 극단 값입니다. 그런 다음 자동차 확률은 $j$

Pr (y = j) = \frac{\exp (x_{j} β)}{\sum_{k = 1}^{J} \exp (x_{k} β)}

$\Pr(y=j) = \frac{\exp(x_j \beta)}{\sum_{k=1}^J \exp (x_k \beta)}$

$u_{ij}$ $\beta$

$u$

여기에는 "임계 값"매개 변수가 없습니다. 대신, 하나의 유틸리티가 이전에 가장 큰 유틸리티보다 커지면 소비자는 해당 대안을 선택하도록 전환합니다.

따라서 절편이있을 수 없습니다 $x_j \beta$ . 만약 존재한다면, 이것은 이용 가능한 모든 옵션의 유용성을 확대하여 순위를 유지하고 선택을 변경하지 않습니다.

— 슈퍼 프론 커
소스