다항 로지스틱 회귀 분석을 위해 glm 알고리즘을 사용할 수 있습니까?

14

프로젝트에서 통계 분석에 spotfire (S ++)를 사용하고 있으며 대규모 데이터 세트에 대해 다항 로지스틱 회귀 분석을 실행해야합니다. 가장 좋은 알고리즘은 mlogit 일 것입니다. 그러나 불행히도 s ++에서는 사용할 수 없습니다. 그러나이 회귀에 glm 알고리즘을 사용하는 옵션이 있습니다. 여기서 두 가지를 분명히하고 싶습니다.

1. glm을 사용하여 다항 로지스틱 회귀 분석을 실행할 수 있다는 것을 이해하고 있습니까?

이전 질문에 대한 대답이 예라면 glm algo에서 어떤 매개 변수를 사용해야합니까?

감사,

generalized-linear-model logistic

— 라그 벤드 라
소스

9

예, Poisson GLM (로그 선형 모델)을 사용하면 다항식 모델에 적합 할 수 있습니다. 따라서 다항 로지스틱 또는 로그 선형 포아송 모델은 동일합니다.

랜덤 카운트 $y_{ij}$ 를 평균 갖는 포아송 랜덤 변수로 $μ_{ij}$ 보고 다음 로그 선형 모델을 지정해야합니다.

$\log(μ_{ij}) = o + p_i + c_j + x_iβ_j$

다항 로짓 모델을 구하려면 매개 변수는 다음과 같습니다.

파라미터 예컨대 개인 또는 그룹에 대한 각각의 다항 관찰. 이를 통해 다항식 분모를 정확하게 재현 할 수 있으며 실제로 포아송과 다항식 모델의 동등성을 설정합니다. 다항식 가능성에 고정되어 있지만 포아송 가능성에 무작위입니다. $p_i$

매개 변수 각 응답 분류. 이렇게하면 각 응답 범주마다 개수가 다를 수 있고 여백이 일정하지 않을 수 있습니다. $c_j$

실제로 관심이있는 것은 반응 의 로그 확률에 대한 의 영향을 나타내는 작용 입니다 . $x_iβ_j$ $x_i$ $j$

log-odds는 간단히 계산할 수 있습니다 . 관측치 i가 응답 범주 비해 응답 범주 j에 속할 가능성은 로그 확률입니다 . $\log(μ_{ij}/μ_{ik}) = (c_j-c_k) +x_i(β_j-β_k)$ $k$

그리고, (라틴 문자로 표기)를 다항 로짓 모델의 파라미터는 해당 로그 - 선형 모델의 파라미터의 차이로 얻을 수 있고, 즉 와 . $a_j = α_j-α_k$ $b_j = β_j-β_k$

— 모모
소스

고마워 모모. 이것은 정말 도움이됩니다. 내 소프트웨어는 GLM 알고리즘을 실행하는 동안 패밀리를 "위치"로, 링크를 "로그"로 선택할 수있는 옵션을 제공합니다. 그래서 나는 그것이 정확히 여기에 필요한 것이라고 생각합니다.

— Raghvendra

7

네, 가능합니다. 사실 이것은 R 패키지 GLMNET이 다항 로지스틱 회귀 분석을 위해하는 것입니다. 로그 우도 함수 작성 :

L o g L = \sum_{i} \sum_{c} n_{i c} \log (p_{i c})

$LogL=\sum_i\sum_cn_{ic}\log(p_{ic})$

여기서 관측치를 나타내고 는 다항 범주를 나타냅니다. 는 카테고리 에서 관측 의 관측 된 개수입니다 . 관측 값은 고유 한 공변량 조합으로 정의됩니다. 또는 대안으로 중복을 허용하고 각 설정할 수 있습니다 $i$ $c$ $n_{ic}$ $i$ $c$ 범주 형 "이진"데이터를 갖도록(.... 이항의 복수가 무엇인지 모릅니다 .. ..). 로지스틱 회귀 분석의 경우 확률은 다음과 같이 정의됩니다. $n_{ic}=1$

p_{i c} = \frac{\exp (x_{i}^{T} β_{c})}{\sum_{c^{'}} \exp (x_{i}^{T} β_{c^{'}})}

$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\sum_{c'}\exp\left(x_{i}^T\beta_{c'}\right)}$

이는 전체 순위 매개 변수보다 작으며 불이익 가능성 (예 : GLMNET)을 사용하는 경우 유용 할 수 있습니다. 우리는 원칙적으로 풀 베타 매트릭스 에 IRLS / newton rhapson을 사용할 수 있지만, 비대 각 중량 행렬로 끝납니다. 또는 하나를 제외한 모든 범주 베타를 수정 한 다음 해당 범주 바로 위에 최적화하여 "Gibbs 스타일"을 최적화 할 수 있습니다. 그런 다음 다음 카테고리로 진행하십시오. 확률의 형식은 $(\beta_1,\dots,\beta_{C})$

p_{i c} = \frac{\exp (x_{i}^{T} β_{c})}{\exp (x_{i}^{T} β_{c}) + A} where \frac{\partial A}{\partial β_{c}} = 0

$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial A}{\partial \beta_c}=0$

p_{i c^{'}} = \frac{B}{\exp (x_{i}^{T} β_{c}) + A} where \frac{\partial B}{\partial β_{c}} = 0

$p_{ic'}=\frac{B}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial B}{\partial \beta_c}=0$

$\beta_c$ $W_{ii,c}=n_{ic}p_{ic}(1-p_{ic})$ $(X^TWX)^{-1}X^TWY$

— 확률 론적
소스

W

$W$

k

$k$

대각선이 아니기 때문에 많은 수의 관측으로 잘 확장되지 않습니다. "Gibbs-style"로 이동하면 기본 카테고리 매개 변수를 빼고

β

$\beta$ 매트릭스는 예측 전후에 수행됩니까?

— José Bayoán Santiago Calderón

"cholesky once"와 "cholesky k times"에 대해 이야기 할 때 행렬의 차원이 다르다는 점에 유의해야합니다.

p

$p$ 열

X

$X$ "한 번"은 행렬 크기의 행렬입니다.

p k

$pk$ "k 곱하기"는 크기가 지정된 행렬을위한 것입니다.

p

$p$

— probabilityislogic