선형 회귀 분석에 잔차에 대한 가정이 있지만 일반화 된 선형 모형에 반응에 대한 가정이있는 이유는 무엇입니까?

14

선형 회귀 분석과 일반화 모형에 일관성이없는 가정이있는 이유는 무엇입니까?

선형 회귀 분석에서 잔차 가 가우시안 형태 라고 가정합니다.
다른 회귀 (logistic regression, poison regression)에서는 반응 이 일부 분포 (이항, poission 등)에서 발생 한다고 가정 합니다.

왜 때때로 잔여 시간을 가정하고 응답에 다른 시간을 가정합니까? 우리는 다른 속성을 도출하기를 원하기 때문입니까?

편집 : mark999의 두 형식이 동일하다고 생각합니다. 그러나 iid에 대한 추가 의심이 있습니다.

내 다른 질문 은 로지스틱 회귀에 대한 iid 가정이 있습니까? 일반화 선형 모형에 iid 가정이 없음을 나타냅니다 (독립적이지만 동일하지는 않음)

선형 회귀 분석의 경우, 잔차 에 대한 가정을 가정하면 iid를 갖지만 response 에 대한 가정을 취하면 독립적이지만 동일한 샘플 ( 다른 가우시안)을 가지게됩니다 . $\mu$

— 하이 타오 뒤
소스

참조 stats.stackexchange.com/questions/295340/...

— 할보 르센 kjetil B

12

가우스 오차가있는 단순 선형 회귀는 일반화 된 선형 모델로 일반화되지 않는 매우 훌륭한 속성입니다.

일반화 선형 모형에서 반응 은 평균이 주어지면 주어진 분포를 따릅니다 . 선형 회귀는이 패턴을 따릅니다. 우리가 있다면

$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$

와 $\epsilon_i \sim N(0, \sigma)$

우리는 또한

$y_i \sim N(\beta_0 + \beta_1 x_i, \sigma)$

$\epsilon_i$ $x$

$y_i$

$y_i = 0 + 2 \times x_i + \epsilon_i$

$\epsilon_i \sim N(0, 0.2)$ $x_i \sim \text{Bernoulli}(p = 0.5)$

$y_i$

다음은 설명 할 R코드입니다.

x <- rbinom(1000, size = 1, prob = 0.5)
y <- 2 * x + rnorm(1000, sd = 0.2)
fit <- lm(y ~ x)
resids <- residuals(fit)
par(mfrow = c(1,2))
hist(y, main = 'Distribution of Responses')
hist(resids, main = 'Distribution of Residuals')

— 클리프 AB
소스

y_{i} = 1 + 2 \times x_{i} + ϵ_{i}

$y_i = 1 + 2 \times x_i + \epsilon_i$

3

@ hxd1011 : 예, 이것은 한계 분포 (확실히 정상이 아닙니다)와 x가 주어진 조건부 분포의 차이입니다 (시뮬레이션 한 이후 정상임을 알고 있습니다!). 조건부 분포와 한계 분포의 차이에 대해 생각하지 않는 것은 매우 일반적인 실수입니다.

— Cliff AB

14

$i = 1, \ldots, n$

{와이}_{나는} = β_{0} + β_{1} {엑스}_{나는 1} + \dots + β_{케이} {엑스}_{나는 케이} + ϵ_{나는},

$Y_i = \beta_0 + \beta_1 X_{i1} + \ldots + \beta_k X_{ik} + \epsilon_i,$

ϵ_{i}

$\epsilon_i$

σ^{2}

$\sigma^2$

X_{i 1}, \dots, X_{i k}

$X_{i1}, \ldots, X_{ik}$

Y_{i}

$Y_i$

β_{0} + β_{1} X_{i 1} + \dots + β_{k} X_{i k}

$\beta_0 + \beta_1 X_{i1} + \ldots + \beta_k X_{ik}$ 그리고 분산

σ^{2}

$\sigma^2$ .

에 조건이 있기 때문입니다 $X_{i1}, \ldots, X_{ik}$ 우리는 치료 $\beta_0 + \beta_1 X_{i1} + \ldots + \beta_k X_{ik}$ 일정하다.

정규 오차가있는 일반적인 다중 선형 회귀 모형은 정상 반응 및 항등 링크가있는 일반화 된 선형 모형입니다.

— mark999
소스