다항 로지스틱 회귀 분석에서 exp (B) 해석

16

이것은 초보자의 질문이지만 다항 로지스틱 회귀 모델에서 6.012의 exp (B) 결과를 어떻게 해석합니까?

1) 6.012-1.0 = 5.012 = 5012 %의 위험 증가입니까?

또는

2) 6.012 / (1 + 6.012) = 0.857 = 85.7 % 위험 증가?

두 대안이 모두 틀린 경우 누군가 올바른 방법을 언급 할 수 있습니까?

인터넷에서 많은 리소스를 검색 했으며이 두 가지 대안을 찾았으며 어느 것이 올바른지 확실하지 않습니다.

multinomial

— 사용자 6911
소스

35

거기에 도달하는 데 시간이 조금 걸리지 만 요약 하면 B에 해당하는 변수의 한 단위 변경으로 인해 결과의 상대 위험 (기본 결과와 비교)에 6.012가 곱해집니다.

하나의 "5,012퍼센트"증가로이 표현 할 수 상대 실제로 다항 로지스틱 모델은 강력하게 우리를 격려 할 때, 위험하지만, 우리가 부가 적 변화를 생각해야 알 수 있기 때문에 즉, 그것을 할 수있는 혼란과 잠재적으로 오해의 소지 방법 곱셈으로 생각하십시오. 변수의 변화가 문제의 결과뿐만 아니라 모든 결과 의 예측 확률을 동시에 변경하기 때문에 수정 자 "상대적"이 필수적입니다. 따라서 확률을 차이가 아닌 비율 로 비교해야합니다 .

이 답변의 나머지 부분은 이러한 진술을 올바르게 해석하는 데 필요한 용어와 직관을 개발합니다.

배경

다항식 사례로 넘어 가기 전에 일반적인 로지스틱 회귀 분석부터 시작하겠습니다.

종속 (이진) 변수 및 독립 변수 의 경우 모델은 $Y$ $X_i$

Pr [Y = 1] = \frac{\exp (β_{1} X_{1} + \dots + β_{m} X_{m})}{1 + \exp (β_{1} X_{1} + \dots + β_{m} X_{m})};

$\Pr[Y=1] = \frac{\exp(\beta_1 X_1 + \cdots + \beta_m X_m)}{1+\exp(\beta_1 X_1 + \cdots + \beta_m X_m)};$

등가 가정 , $0 \ne \Pr[Y=1] \ne 1$

\log (ρ (X_{1}, \dots, X_{m})) = \log \frac{Pr [Y = 1]}{Pr [Y = 0]} = β_{1} X_{1} + \dots + β_{m} X_{m} .

$\log(\rho(X_1, \cdots, X_m)) = \log\frac{\Pr[Y=1]}{\Pr[Y=0]} = \beta_1 X_1 + \cdots + \beta_m X_m.$

(이것은 단순히 정의 는 IS, 확률 의 함수로서 ). $\rho$ $X_i$

일반성의 손실없이, 색인 되도록 변수이며 질문에서 "B"이다 (그래서 ). 값 고정 , 그리고 다양한 소량으로 수율 $X_i$ $X_m$ $\beta_m$ $\exp(\beta_m)=6.012$ $X_i, 1\le i\lt m$ $X_m$ $\delta$

\log (ρ (\dots, X_{m} + δ)) - \log (ρ (\dots, X_{m})) = β_{m} δ .

$\log(\rho(\cdots, X_m+\delta)) - \log(\rho(\cdots, X_m)) = \beta_m \delta.$

따라서, 에 대한 로그 확률의 한계 변화 . $\beta_m$ $X_m$

복구하려면 설정 하고 왼쪽을 지수화 해야합니다 . $\exp(\beta_m)$ $\delta=1$

\begin{aligned} \exp (β_{m}) & = \exp (β_{m} \times 1) \\ = \exp (\log (ρ (\dots, X_{m} + 1)) - \log (ρ (\dots, X_{m}))) \\ = \frac{ρ (\dots, X_{m} + 1)}{ρ (\dots, X_{m})} . \end{aligned}

$\eqalign{ \exp(\beta_m) &= \exp(\beta_m \times 1) \\ & = \exp( \log(\rho(\cdots, X_m+1)) - \log(\rho(\cdots, X_m))) \\ & = \frac{\rho(\cdots, X_m+1)}{\rho(\cdots, X_m)}. }$

이는 의 1 단위 증가에 대한 승산 비로 을 나타 . 이것이 의미하는 바에 대한 직관을 개발하려면 패턴을 돋보이게 만들기 위해 크게 반올림하여 시작 확률 범위에 대한 일부 값을 표로 표시하십시오. $\exp(\beta_m)$ $X_m$

Starting odds  Ending odds  Starting Pr[Y=1]  Ending Pr[Y=1]
0.0001         0.0006       0.0001            0.0006
0.001          0.006        0.001             0.006
0.01           0.06         0.01              0.057
0.1            0.6          0.091             0.38
1.             6.           0.5               0.9
10.            60.          0.91              1.
100.           600.         0.99              1.

들면 실제로 작은 대응 확률, 실제로 작은 확률을, 하나 개의 단위 증가 효과 것이다 곱 6.012 관련하여 확률 또는 가능성. 승산 (및 확률)이 커짐에 따라 곱셈 계수가 감소 하고, 승산이 10을 초과하면 (확률이 0.9를 초과) 본질적으로 사라집니다. $X_m$

확률의 비율 변화

부가적인 변화 로서, 0.0001과 0.0006의 확률 사이에는 큰 차이가 없으며 (0.05에 불과) 0.99와 1 사이에는 큰 차이가 없습니다 (1 % 만). 가장 큰 가산 효과는 확률이 때 발생하며 , 여기서 확률은 29 %에서 71 %로 변경됩니다. + 42 %의 변화입니다. $1/\sqrt{6.012} \sim 0.408$

확률의 부가적인 변화

우리는 우리가 교차비으로 "위험"를 표현하는 경우 해당, 다음을 참조 확률 비율이 동일 - = "B"는 간단한 해석이 에서 단위 증가 - 그러나 우리는 약간의 위험을 표현할 때 확률의 변화와 같은 다른 방식으로 해석 할 때 시작 확률을 지정해야합니다. $\beta_m$ $\beta_m$ $X_m$

다항 로지스틱 회귀

(이것은 나중에 편집하기 위해 추가되었습니다.)

확률을 표현하기 위해 로그 확률을 사용하는 값을 인식 했으므로 다항식 사례로 넘어 갑시다. 이제 종속 변수 는 색인 된 범주 중 하나와 같을 수 있습니다 . 상대 확률은 분류되어 이며 $Y$ $k \ge 2$ $i=1, 2, \ldots, k$ $i$

Pr [Y_{i}] \sim \exp (β_{1}^{(i)} X_{1} + \dots + β_{m}^{(i)} X_{m})

$\Pr[Y_i] \sim \exp\left(\beta_1^{(i)} X_1 + \cdots + \beta_m^{(i)} X_m\right)$

매개 변수 를 사용하여 결정하고 대해 를 작성 합니다. 약어로, 오른쪽 표현식을 하거나 문맥 에서 와 가 명확하면 간단히 . 이러한 모든 상대 확률을 단일화로 합치도록 정규화 $\beta_j^{(i)}$ $Y_i$ $\Pr[Y=\text{category }i]$ $p_i(X,\beta)$ $X$ $\beta$ $p_i$

Pr [Y_{i}] = \frac{p_{i} (X, β)}{p_{1} (X, β) + \dots + p_{m} (X, β)} .

$\Pr[Y_i] =\frac{p_i(X,\beta)}{p_1(X,\beta) + \cdots + p_m(X,\beta)}.$

(매개 변수에는 모호함이 있습니다. 매개 변수가 너무 많습니다. 일반적으로 비교를 위해 "기본"범주를 선택하고 모든 계수를 0으로 설정합니다. 그러나 베타에 대한 고유 한 추정치를보고하려면 계수를 해석 할 필요 는 없습니다 . 대칭을 유지하기 위해 (즉, 범주 간의 인공적인 구별을 피하기 위해) 우리가 할 필요가 없다면 그러한 제약을 강요하지 마십시오.)

이 모델을 해석하는 한 가지 방법 은 독립 변수 중 하나 (예 : ) 와 관련하여 모든 범주 (예 : 범주 )에 대한 로그 확률의 한계 변화율을 요청 하는 것입니다 . 즉, 를 약간 변경하면 의 로그 확률이 변경됩니다 . 우리는이 두 가지 변화와 관련된 비례의 상수에 관심이 있습니다. 미적분학 연쇄 법칙은 작은 대수와 함께이 변화율이 $i$ $X_j$ $X_j$ $Y_i$

\frac{\partial log odds (Y_{i})}{\partial X_{j}} = β_{j}^{(i)} - \frac{β_{j}^{(1)} p_{1} + \dots + β_{j}^{(i - 1)} p_{i - 1} + β_{j}^{(i + 1)} p_{i + 1} + \dots + β_{j}^{(k)} p_{k}}{p_{1} + \dots + p_{i - 1} + p_{i + 1} + \dots + p_{k}} .

$\frac{\partial\ \text{log odds}(Y_i)}{\partial\ X_j} = \beta_j^{(i)} - \frac{\beta_j^{(1)}p_1 + \cdots + \beta_j^{(i-1)}p_{i-1} + \beta_j^{(i+1)}p_{i+1} +\cdots + \beta_j^{(k)}p_k}{p_1 + \cdots + p_{i-1} + p_{i+1} + \cdots + p_k}.$

이 계수와 같은 비교적 간단한 해석 갖는다 의 있는 가능성에 대한 화학식에서 카테고리에 뺀 "조정."을 조정은 다른 모든 범주에서 계수의 확률 가중 평균입니다 . 가중치는 독립 변수 의 현재 값과 연관된 확률을 사용하여 계산됩니다 . 따라서 로그의 한계 변화가 반드시 일정하지는 않습니다 . 문제의 범주 확률 (카테고리 ) 뿐만 아니라 다른 모든 범주의 확률에 따라 다릅니다 . $\beta_j^{(i)}$ $X_j$ $Y$ $i$ $X_j$ $X$ $i$

단지이 때 카테고리, 이것은 통상의 회귀를 감소해야한다. 실제로 확률 가중치는 아무 것도 수행하지 않으며 ( 선택 ) 단순히 합니다. 카테고리 기본 사례로 이기 때문에 이것을 더 줄 입니다. 따라서 새로운 해석은 오래된 것을 일반화합니다. $k=2$ $i=2$ $\beta_j^{(2)} - \beta_j^{(1)}$ $i$ $\beta_j^{(2)}$ $\beta_j^{(1)}=0$

직접 해석하기 위해 위 공식의 한쪽에서 분리하여 다음과 같이합니다. $\beta_j^{(i)}$

계수 범주 종류의 로그 확률의 한계 변화 같음 변수에 대하여 , 플러스 다른 모든 계수의 확률 가중 평균 카테고리 . $X_j$ $i$ $i$ $X_j$ $X_{j'}$ $i$

조금 덜 직접적이지만 또 다른 해석은 범주 를 기본 사례로 설정 하여 모든 독립 변수 대해 . $i$ $\beta_j^{(i)}=0$ $X_j$

변수 에 대한 기본 사례의 로그 확률의 한계 변화율은 다른 모든 경우에 대한 계수의 확률 가중 평균의 음수입니다. $X_j$

실제로 이러한 해석을 사용하려면 일반적으로 소프트웨어 출력에서 베타 및 확률을 추출하고 표시된대로 계산을 수행해야합니다.

마지막으로 지수를 계산 한 계수의 경우 두 결과 간의 확률 비율 (때로는 와 비교하여 의 "상대 위험"이라고 함 )은 다음과 같습니다. $i$ $i'$

\frac{Y_{i}}{Y_{i^{'}}} = \frac{p_{i} (X, β)}{p_{i^{'}} (X, β)} .

$\frac{Y_{i}}{Y_{i'}} = \frac{p_{i}(X,\beta)}{p_{i'}(X,\beta)}.$

하자의 증가 하나 개의 단위로 . 이 곱셈 의해 및 로 의 상대적 위험을 곱하여 어디서 = . 카테고리를 가지고가는 것은 기본 경우이 감소 될 수 있습니다 , 우리를 선도하는 말 $X_j$ $X_j+1$ $p_{i}$ $\exp(\beta_j^{(i)})$ $p_{i'}$ $\exp(\beta_j^{(i')})$ $\exp(\beta_j^{(i)}) / \exp(\beta_j^{(i')})$ $\exp(\beta_j^{(i)}-\beta_j^{(i')})$ $i'$ $\exp(\beta_j^{(i)})$

지수 계수 는 상대 위험 에 곱해지는 양입니다. 변수 가 1 단위 증가 할 때 $\exp(\beta_j^{(i)})$ $\Pr[Y = \text{category }i]/\Pr[Y = \text{base category}]$ $X_j$

— 우버
소스

1

훌륭한 설명이지만 OP는 다항식 모델을 명시 적으로 요청했습니다 . OP가 의도 한 것보다 더 많은 질문을 읽고있을 수 있으며 이진 사례에 대한 설명이 충분할 수도 있지만이 답변이 일반적인 다항식 사례도 다루고 싶습니다. 매개 변수화가 유사하더라도 "log-odds"는 일반적으로 (임의의) 참조 범주와 관련이 있으며 실제로는 log-odd가 아니며 의 단위 변경으로 인해 이러한 "log -odds "및 증가하는"log-odds "는 가능성을 암시하지 않습니다.

X_{i}

$X_i$

— NRH

@NRH 훌륭한 지적입니다. 어떻게 든 "다항식"대신 "다변량"을 읽었습니다. 이것으로 돌아갈 기회가 생기면 나는 그 세부 사항을 살려내려고 노력할 것입니다. 다행히도 동일한 해석 모드가 올바른 해석을 찾는 데 효과적입니다.

— whuber

@NRH 완료. 해석을 더 명확하게하는 방법이나 다른 해석에 대한 제안 (또는 다른 사람)을 환영합니다.

— whuber

1

적어 주셔서 감사합니다. 완전한 답변은 아주 좋은 참고 자료입니다.

— NRH

1

@whuber가 이미 그렇게 잘 쓴 것 외에도이 설명을 고려해보십시오. exp (B) = 6 인 경우, 해당 예측 변수의 1 증가와 관련된 승산 비는 6입니다. 다항식 문맥에서 "홀수 비율"이란 다음 두 수량의 비율을 의미합니다. 확률이 아니라 오히려 p / [1-p]) 문제 출력 테이블에 표시된 종속 변수의 값을 취하는 경우 b) 종속 변수의 기준값을받는 경우의 확률

사례가 하나 또는 다른 범주에있을 확률 (확률이 아닌)을 수량화하려고하는 것 같습니다. 이를 위해서는 사건이 "시작된"확률을 알아야합니다. 즉 문제의 예측 변수에서 1의 증가를 가정하기 전에. 확률의 비율은 경우에 따라 다르지만 예측 변수의 1 증가와 관련된 확률의 비율은 동일하게 유지됩니다.

— 롤란도
소스

"exp (B) = 6이면 해당 예측 변수의 1 증가와 관련된 승산 비는 6입니다"@whuber의 답변을 올바르게 읽으면 승산 비 에 6 이 곱해 집니다. 예측 변수에 1입니다. 즉, 새로운 배당률은 6이 아닙니다. 아니면 내가 잘못 해석 한 것입니까?

— rbm

당신은 "새로운 가능성의 말을 어디 비율이 나는 말할 것 (6)가되지 않습니다" "새로운 확률이 6되지 않습니다 ...하지만 이전에 새의 비율 확률은 6 될 것"

— rolando2

네, 동의합니다! 그러나 저는 "문제의 예측 변수에서 1의 증가와 관련된 승산 비는 6"이라고 실제로 생각하지는 않는다고 생각했습니다. 그러나 어쩌면 나는 단지 그것을 잘못 해석하고 있습니다. 설명 주셔서 감사합니다!

— rbm

1

나는 또한 같은 대답을 찾고 있었지만 위의 한 번은 나를 만족시키지 못했습니다. 실제로는 복잡해 보였습니다. 통역을하겠습니다. 틀렸다면 정정 해주세요.

그러나 중요하므로 끝까지 읽으십시오.

우선 B와 Exp (B) 값이 원하는 값입니다. B가 음수이면 Exp (B)가 1보다 낮아 확률이 줄어 듭니다. Exp (B)가 1보다 높으면 확률이 높아집니다. 요인 Exp (B)를 곱하기 때문입니다.

불행히도 아직 거기에 없습니다. 다항식 회귀 분석에서 종속 변수에는 여러 범주가 있으므로 이러한 범주를 D1, D2 및 D3이라고합니다. 마지막 범주는 참조 범주입니다. 그리고 첫 번째 독립 변수가 성별이라고 가정합시다 (남성 대 여성).

D1-> 남성의 출력이 exp (B) = 1.21이라고 가정하면, 남성의 경우 확률은 여성 (참조 카테고리)에 비해 D3 (참조 카테고리)가 아닌 D1 (카테고리 카테고리)이 아닌 D1 카테고리에있을 때 1.21만큼 증가합니다.

따라서 항상 종속적이지만 독립 변수의 참조 범주와 비교합니다. 공변량 변수가있는 경우에는 사실이 아닙니다. 이 경우 의미합니다. X가 1 단위 증가하면 D3이 아닌 D1 범주에있는 1.21 배만큼 확률이 높아집니다.

순서 종속 변수가있는 사람들 :

순서 종속 변수가 있고 예를 들어 비례 승산 가정 때문에 순서 회귀 분석을 수행하지 않은 경우. 최상위 카테고리는 참조 카테고리입니다. 위와 같은 결과는보고 할 수 있습니다. 그러나 배당률이 실제로 높아질수록 배당률이 높을수록 배당률이 높아질 수 있습니다. 그러나 서수 의존 변수가있는 경우에만 가능합니다.

백분율의 증가를 알고 싶다면 가상의 승산 수를 취하고 100을 말하고 1.21에 121을 곱하십시오. 100에 비해 현명한 비율은 얼마나 되었습니까?

— 피코
소스

0

mlogit의 exp (b)가 1.04라고 가정하십시오. 숫자에 1.04를 곱하면 4 % 증가합니다. 이것이 b 대신 a 범주에 속할 상대적 위험입니다. 여기서 혼동의 일부는 4 % (곱셈의 의미)와 4 % 포인트 (첨가의 의미)와 관련이있을 것으로 생각됩니다. 백분율 포인트 변화가 아닌 백분율 변화에 대해 이야기하면 % 해석이 정확합니다. (후자는 상대 위험이 백분율로 표현되지 않기 때문에 어쨌든 의미가 없습니다.)

— natalia
소스