로지스틱 회귀 계수의 표준 오차를 계산하는 방법

파이썬의 scikit-learn을 사용하여 로지스틱 회귀를 훈련하고 테스트합니다.

scikit-learn은 독립 변수의 회귀 계수를 반환하지만 계수의 표준 오차는 제공하지 않습니다. 각 계수에 대한 Wald 통계량을 계산하고 이러한 계수를 서로 비교하려면 이러한 표준 오류가 필요합니다.

로지스틱 회귀 계수 ( here ) 의 표준 오차를 계산하는 방법에 대한 설명을 찾았 지만 따르기가 다소 어렵습니다.

이러한 표준 오류를 계산하는 방법에 대한 간단하고 간결한 설명을 알고 있거나 오류를 제공 할 수 있다면 정말 감사하겠습니다! 나는 특정 코드를 의미하지는 않지만 (유용한 코드를 자유롭게 게시하십시오) 오히려 관련된 단계에 대한 알고리즘 설명을 의미합니다.

소프트웨어가 매개 변수 공분산 (또는 분산 공분산) 행렬을 제공합니까? 그렇다면 표준 오차는 해당 행렬의 대각선의 제곱근입니다. 선형 및 일반 선형 모델 의 행렬 을 얻는 방법에 대해서는 교과서 (또는 대학 강의 노트의 경우 Google)를 참조하십시오 .$V_\beta$

모형 계수의 표준 오차는 공분산 행렬의 대각선 항목의 제곱근입니다. 다음을 고려하세요:

• 디자인 매트릭스 :

x i , j j $\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix}$ 여기서 는 번째 관측치에 대한 번째 예측 변수 .$x_{i,j}$$j$$i$

(참고 : 이것은 인터셉트가있는 모델을 가정합니다.)

• π I$\textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$ , 관찰 클래스 멤버십의 예측 확률 나타내는 .$\hat{\pi}_{i}$$i$

공분산 행렬은 다음과 같이 쓸 수 있습니다.

$\textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$

다음 코드로 구현할 수 있습니다.

import numpy as np
from sklearn import linear_model

# Initiate logistic regression object
logit = linear_model.LogisticRegression()

# Fit model. Let X_train = matrix of predictors, y_train = matrix of variable.
# NOTE: Do not include a column for the intercept when fitting the model.
resLogit = logit.fit(X_train, y_train)

# Calculate matrix of predicted class probabilities.
# Check resLogit.classes_ to make sure that sklearn ordered your classes as expected
predProbs = resLogit.predict_proba(X_train)

# Design matrix -- add column of 1's at the beginning of your X_train matrix
X_design = np.hstack([np.ones((X_train.shape[0], 1)), X_train])

# Initiate matrix of 0's, fill diagonal with each predicted observation's variance
V = np.diagflat(np.product(predProbs, axis=1))

# Covariance matrix
# Note that the @-operater does matrix multiplication in Python 3.5+, so if you're running
# Python 3.5+, you can replace the covLogit-line below with the more readable:
# covLogit = np.linalg.inv(X_design.T @ V @ X_design)
covLogit = np.linalg.inv(np.dot(np.dot(X_design.T, V), X_design))
print("Covariance matrix: ", covLogit)

# Standard errors
print("Standard errors: ", np.sqrt(np.diag(covLogit)))

# Wald statistic (coefficient / s.e.) ^ 2
logitParams = np.insert(resLogit.coef_, 0, resLogit.intercept_)
print("Wald statistics: ", (logitParams / np.sqrt(np.diag(covLogit))) ** 2)

모든 statsmodels"즉석"진단에 액세스하려는 경우 더 나은 패키지가 될 것입니다.

추론에 관심이 있다면 statsmodels를 살펴보고 싶을 것입니다 . 표준 오차 및 일반적인 통계 테스트가 가능합니다. 로지스틱 회귀 예제 입니다.