간단한 R lm 모델에서 로그 우도 재 계산

lm 모델 (R)에서 logLik 함수가 제공하는 로그 가능성을 dnorm ()으로 다시 계산하려고합니다.

많은 수의 데이터 (예 : n = 1000)에 대해 (거의 완벽하게) 작동합니다.

> n <- 1000
> x <- 1:n
> set.seed(1)
> y <- 10 + 2*x + rnorm(n, 0, 2)
> mod <- glm(y ~ x, family = gaussian)
> logLik(mod)
'log Lik.' -2145.562 (df=3)
> sigma <- sqrt(summary(mod)$dispersion)
> sum(log(dnorm(x = y, mean = predict(mod), sd = sigma)))
[1] -2145.563
> sum(log(dnorm(x = resid(mod), mean = 0, sd = sigma)))
[1] -2145.563

그러나 작은 데이터 세트의 경우 분명한 차이점이 있습니다.

> n <- 5
> x <- 1:n
> set.seed(1)
> y <- 10 + 2*x + rnorm(n, 0, 2)
> 
> mod <- glm(y ~ x, family = gaussian)
> logLik(mod)
'log Lik.' -8.915768 (df=3)
> sigma <- sqrt(summary(mod)$dispersion)
> sum(log(dnorm(x = y, mean = predict(mod), sd = sigma)))
[1] -9.192832
> sum(log(dnorm(x = resid(mod), mean = 0, sd = sigma)))
[1] -9.192832

작은 데이터 세트 효과 때문에 lm과 glm 사이의 잔차 분산 추정치의 차이로 인한 것일 수 있지만 lm을 사용하면 glm과 동일한 결과를 얻을 수 있다고 생각했습니다.

> modlm <- lm(y ~ x)
> logLik(modlm)
'log Lik.' -8.915768 (df=3)
> 
> sigma <- summary(modlm)$sigma
> sum(log(dnorm(x = y, mean = predict(modlm), sd = sigma)))
[1] -9.192832
> sum(log(dnorm(x = resid(modlm), mean = 0, sd = sigma)))
[1] -9.192832

내가 어디 틀렸어?

이 logLik()함수는 매개 변수의 ML 추정값을 알 수없는 매개 변수 값으로 대체 하여 로그 우도 평가를 제공합니다 . 이제, 회귀 파라미터의 최대 우도 추정 ( 집에서 최소 제곱 추정치)와 일치하고 있지만의 ML 추정 IS 이지만 을 사용합니다. 이는 편견의 제곱근입니다 추정치입니다 .$\beta_j$$X{\boldsymbol \beta}$$\sigma$$\sqrt{\frac{\sum \hat\epsilon_i^2}{n}}$$\hat\sigma = \sqrt{\frac{\sum \hat\epsilon_i^2}{n-2}}$$\sigma^2$

>  n <- 5
>  x <- 1:n
>  set.seed(1)
>  y <- 10 + 2*x + rnorm(n, 0, 2)
>  modlm <- lm(y ~ x)
>  sigma <- summary(modlm)$sigma
> 
>  # value of the likelihood with the "classical" sigma hat
>  sum(log(dnorm(x = y, mean = predict(modlm), sd = sigma)))
[1] -9.192832
> 
>  # value of the likelihood with the ML sigma hat
>  sigma.ML <- sigma*sqrt((n-dim(model.matrix(modlm))[2])/n) 
>  sum(log(dnorm(x = y, mean = predict(modlm), sd = sigma.ML)))
[1] -8.915768
>  logLik(modlm)
'log Lik.' -8.915768 (df=3)