0으로 덩어리가있는 음이 아닌 데이터 모델 (Tweedie GLM, 0 팽창 GLM 등)이 정확한 0을 예측할 수 있습니까?

Tweedie 분포는 모수 (평균-분산 관계에서 지수)가 1과 2 사이 일 때 0으로 점 질량을 사용하여 치우친 데이터를 모델링 할 수 있습니다 .$p$

유사하게 0 팽창 된 (그렇지 않으면 연속적이든 불연속적인) 모델은 많은 수의 0을 가질 수 있습니다.

이러한 종류의 모델로 적합치를 예측하거나 계산할 때 모든 예측값이 0이 아닌 이유를 이해하는 데 어려움을 겪고 있습니다.

이 모델들이 실제로 정확한 0을 예측할 수 있습니까?

예를 들어

library(tweedie)
library(statmod)
# generate data
y <- rtweedie( 100, xi=1.3, mu=1, phi=1)  # xi=p
x <- y+rnorm( length(y), 0, 0.2)
# estimate p
out <- tweedie.profile( y~1, p.vec=seq(1.1, 1.9, length=9))
# fit glm
fit <- glm( y ~ x, family=tweedie(var.power=out$p.max, link.power=0))
# predict
pred <- predict.glm(fit, newdata=data.frame(x=x), type="response")

pred이제 0이 없습니다. Tweedie 분포와 같은 모델의 유용성은 정확한 영점과 연속 부분을 예측하는 능력에서 비롯된 것이라고 생각했습니다.

내 예제에서 변수 x가 매우 예측 적이 지 않다는 것을 알고 있습니다.

GLM에서 예측 된 값은 평균입니다.

를 들어 어떤 음이 아닌 값에 유통하는 예측 평균 0을, 그 분포는 0에서 완전히 스파이크 될 것이다.

그러나 로그 링크를 사용하면 가 로 이동 해야하기 때문에 평균이 정확히 0에 맞지 않습니다 .$\eta$$-\infty$

따라서 귀하의 문제는 Tweedie의 문제가 아니라 훨씬 일반적인 문제입니다. 예를 들어 Poisson (0 팽창 또는 일반 Poisson GLM)과 정확히 같은 문제가 있습니다.

Tweedie 분포의 유용성은 정확한 영점과 연속 부분을 예측하는 능력에서 비롯된 것이라고 생각했습니다.

로그 링크를 사용하여 음수가 아닌 값에 대한 분포에서는 정확한 0을 예측할 수 없으므로 이에 대한 생각은 착각해야합니다.

그 매력 중 하나는 평균 예측이 0이 아니라 데이터에서 정확한 0을 모델링 할 수 있다는 것 입니다. 적절한 예측 간격은 예를 들어 0을 포함 할 수있다.]

적합 분포가 실질적으로 0의 비율을 포함한다는 것은 중요하지 않습니다. 이는 적합 평균을 0으로 만들지 않습니다.

링크 기능을 변경하여 ID 링크를 말하면 실제로 문제를 해결하지 못합니다. 모두 0이 아닌 음수가 아닌 임의 변수의 평균은 양수입니다.

0의 비율 예측

나는 statmod 패키지의 저자이며 tweedie 패키지의 공동 저자입니다. 예제의 모든 것이 올바르게 작동합니다. 코드는 데이터에있을 수있는 0을 올바르게 설명합니다.

Glen_b와 Tim이 설명했듯이, 0의 확률이 100 %가 아니면 예측 평균값은 정확히 0이 아닙니다. 관심있는 것은 0의 예측 비율이며, 아래에 표시된 것처럼 모형 적합에서 쉽게 추출 할 수 있습니다.

보다 합리적인 작업 예가 있습니다. 먼저 일부 데이터를 시뮬레이션하십시오.

> library(statmod)
> library(tweedie)
> x <- 1:100
> mutrue <- exp(-1+x/25)
> summary(mutrue)
   Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
 0.3829  1.0306  2.7737  5.0287  7.4644 20.0855 
> y <- rtweedie(100, mu=mutrue, phi=1, power=1.3)
> summary(y)
   Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
 0.0000  0.8482  2.9249  4.7164  6.1522 24.3897 
> sum(y==0)
[1] 12

데이터는 12 개의 0을 포함합니다.

이제 Tweedie glm에 맞습니다.

> fit <- glm(y ~ x, family=tweedie(var.power=1.3, link.power=0))
> summary(fit)

Call:
glm(formula = y ~ x, family = tweedie(var.power = 1.3, link.power = 0))

Deviance Residuals: 
     Min        1Q    Median        3Q       Max  
-2.71253  -0.94685  -0.07556   0.69089   1.84013  

Coefficients:
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.816784   0.168764   -4.84 4.84e-06 ***
x            0.036748   0.002275   16.15  < 2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for Tweedie family taken to be 0.8578628)

    Null deviance: 363.26  on 99  degrees of freedom
Residual deviance: 103.70  on 98  degrees of freedom
AIC: NA

Number of Fisher Scoring iterations: 4

$x$$\phi$

$x$

> Phi <- 0.85786
> Mu <- fitted(fit)
> Power <- 1.3
> Prob.Zero <- exp(-Mu^(2-Power) / Phi / (2-Power))
> Prob.Zero[1:5]
        1         2         3         4         5 
0.3811336 0.3716732 0.3622103 0.3527512 0.3433024 
> Prob.Zero[96:100]
          96           97           98           99          100 
1.498569e-05 1.121936e-05 8.336499e-06 6.146648e-06 4.496188e-06 

따라서 0의 예측 비율은 가장 작은 평균값에서 38.1 %에서 가장 큰 평균값에서 4.5e-6까지 다양합니다.

정확한 영점 확률에 대한 공식은 Dunn & Smyth (2001) Tweedie Family Densities : 평가 방법 또는 Dunn & Smyth (2005) Tweedie 지수 분산 모델 밀도의 시리즈 평가에서 찾을 수 있습니다.

이 답변은 예측 제로 팽창 회귀 모델에 대해 묻는 다른 스레드에서 병합되었지만 Tweedie GLM 모델에도 적용됩니다.

$f$$f$

$I$$f_\text{zeroinfl}(y)$

$g^{-1}$

$Y$$X$$Y$$X$$Y$$X$$E(Y|X)$