선형 회귀, 조건부 기대 및 기대 값

몇 가지 사항에 약간 흐릿한 점이 있으면 도움을 주시면 감사하겠습니다. 선형 회귀 모델이 조건부 기대를 통해 예측된다는 것을 이해합니다.

E (Y | X) = b + X b + e

$E(Y|X)=b+Xb+e$

우리는 $X$ 와 $Y$ 확률 분포가 알려지지 않은 임의의 변수 합니까? 잔차와 추정 된 베타 계수 만이 랜덤 변수라는 것을 이해했습니다. 그렇다면 예를 들어 $Y =$ 비만이고 $X =$ 나이 인 경우 조건부 기대 $E(Y|X=35)$ 의미를 취 하면 표본 전체에서 개인이 세인 경우 비만의 예상 값은 얼마입니까 $35$ ? 관측 값에 대해 y의 평균 (산술 평균)을 취하십시오. $X=35$ ? 그러나 기대 값에이를 발생 확률로 곱해야한다는 것은 아닙니다. 그러나 그런 의미에서 $X$ 값 변수가 나이와 같은 것을 나타낼 때 발생할 가능성을 어떻게 알 수 있습니까?
$X$ 가 환율과 같은 것을 나타내는 경우 무작위로 분류됩니까? 지구상에서 어떻게 확률을 알지 못하고 이것의 예상 가치를 찾을 수 있습니까? 또는 예상 값이 한계의 평균과 동일 할 것입니다.
종속 변수 자체가 랜덤 변수라고 가정하지 않으면 확률을 회피하지 않기 때문에 그 변수는 무엇이라고 가정합니까? 고정 값 또는 무언가? 그러나 이것이 사실이라면 어떻게 비 랜덤 변수를 조건으로 시작할 수 있습니까? 독립 변수 분포에 대해 무엇을 가정합니까?

이해가되지 않거나 다른 사람에게 명백한 것이 있으면 죄송합니다.

regression

— 윌리엄 카를 리
소스

회귀 계수

는 무작위 변수가 아닌 알 수없는 상수입니다 (적어도 잦은 세계에서는).

β

$\beta$

— Richard Hardy

조건부 기대의 의미는 무엇입니까? E (Y | X)는 단순히 X가 주어진 Y, 즉 X에서 Y의 예상 값을 의미합니다. 예를 들어, y = 5 + x, 그러면 E (Y | X = 5)는 10입니다. 조건부 기대

— Zamir Akimbekov 2016 년

@RichardHardy, B는 베타의 샘플링 분포의 평균이기 때문에 정규 분포를 특징으로하는 무작위 변수라는 것을 이해했습니다. 인구 모델을 언급하고 있습니까?

— William Carulli 2016 년

예, 인구 모델.

— Richard Hardy

@WilliamCarulli Richard는 모집단 모수와 추정 모수 의 차이를 나타냅니다 . 추정 된 모수는 실제로 임의 변수이지만 (알 수없는) 실제 모집단 모수는 고정 된 값입니다.

— Matthew Drury 2016 년

답변:

선형 회귀 분석의 기본이되는 확률 모델에서 X와 Y 는 랜덤 변수입니다.

그렇다면 예를 들어 Y = 비만이고 X = 나이 인 경우 조건부 기대 E (Y | X = 35) 의미를 취하면 표본 전체에서 개인이 35 세인 경우 비만의 예상 값은 얼마입니까? X = 35 인 관측치에 대해 y의 평균 (산술 평균)을 취하면됩니까?

맞습니다. 일반적으로 X의 각 특정 값에 충분한 데이터가있을 것으로 기대할 수 없거나 X가 연속적인 값 범위를 가질 수있는 경우에는 불가능할 수 있습니다. 그러나 개념적으로 이것은 맞습니다.

그러나 기대 값에이를 발생 확률로 곱해야한다는 것은 아닙니다.

이것은 간의 차이 무조건 기대치 및 조건부 기대치 . 그들 사이의 관계는 $E[Y]$ $E[Y \mid X = x]$

E [Y] = \sum_{x} E [Y ∣ X = x] P r [X = x]

$E[Y] = \sum_x E[Y \mid X = x] Pr[X = x]$

이것이 완전한 기대의 법칙입니다.

그러나 그런 의미에서 X- 값 변수가 나이와 같은 것을 나타낼 경우 발생할 가능성을 어떻게 알 수 있습니까?

일반적으로 선형 회귀 분석이 아닙니다. 우리가 결정을 시도하고 있기 때문에 , 우리는 알 필요가 없습니다 . $E[Y \mid X]$ $Pr[X = x]$

독립 변수 자체가 랜덤 변수라고 가정하지 않으면 확률을 회피하지 않기 때문에 그 변수는 무엇이라고 가정합니까? 고정 값 또는 무언가?

우리 는 Y가 랜덤 변수라고 가정합니다. 선형 회귀에 대해 생각하는 한 가지 방법은 대한 확률 모델입니다. $Y$

Y \sim X β + N (0, σ)

$Y \sim X \beta + N(0, \sigma)$

즉, X의 값을 알고 나면 Y의 임의 변동이 summand 됩니다. $N(0, \sigma)$

— 매튜 드 루리
소스

귀하의 의견에 감사드립니다. 대단히 도움이되었습니다. 건배.

— William Carulli 2016 년

@WilliamCarulli 천만에요! 후속 질문이 있으면 언제든지 답변을 드리도록 최선을 다하겠습니다. 모든 문제를 실제로 해결했다면 수락해도됩니다.

— Matthew Drury 2016 년

이것은 좋은 게시물입니다. 그러나

(a)가 고정 될 수 있거나 (b) 임의의 변수 (특히 독립성 가정) 일 수 있음을 인정하지 않는 대답 은 실제로 질문에 표현 된 문제를 해결 하지 못하고 있다고 생각합니다 .

X

$X$

— whuber

@MatthewDrury, 명확히하기 위해, 내 종속 변수가 환율이고 내 종속물이 국내 이자율 인 경우

— William Carulli

@ MatthewDrury @ MatthewDrury, 명확히하기 위해, 종속 변수가 환율이고 내 종속물이 국내 이자율 인 경우 E (E (exchange rate | interest rate)) = E (exchange rate) = 표본 평균 환율 혼란스러워하는 것은 항상 확률을 기반으로 기대 값이 계산된다고 가정한다는 것입니다. 선형 회귀를 나타내는 대수를 행렬 대수를 통해 풀 때 전체 기대치를 취하는 것보다 조건부 기대치라고 생각하지 않습니다.

— William Carulli

이 질문에 대한 많은 답변이 있지만 흥미로운 점을 지적한 후에도 여전히 하나를 추가하고 싶습니다. 단순화를 위해 간단한 선형 모델 만 고려합니다.

   It is my understanding that the linear regression model
   is predicted via a conditional expectation E(Y|X)=b+Xb+e

간단한 선형 회귀 분석의 기본 방정식은 다음과 같습니다. 이 방정식의 의미는 의 평균값이 의 값에 대해 선형이라는 것을 의미합니다. 또한 매개 변수 및 에서 기대 값이 선형임을 알 수 있습니다.이것이 모델을 선형이라고합니다. 이 기본 방정식과 같이 재 표현 될 수있다 : 여기서 제로 평균을 가진 무작위 변수 :

E (Y | X) = β_{0} + β_{1} X,

$\mathbb E(Y\,|\,X) = \beta_0 +\beta_1X,$

Y

$Y$

X

$X$

β_{0}

$\beta_0$

β_{1}

$\beta_1$

Y = β_{0} + β_{1} X + ϵ,

$Y = \beta_0+\beta_1X+\epsilon,$

ϵ

$\epsilon$

E (ϵ) = 0

$\mathbb E(\epsilon) = 0$

Do we assume that both X and Y are Random variables with some unknown 
probability distribution? ... If we don't assume the independent variables 
are themselves random

독립 변수 는 임의적이거나 고정적 일 수 있습니다. 종속 변수 는 항상 랜덤입니다. $X$ $Y$

일반적으로 이라고 가정합니다 은 고정 된 숫자입니다. 이는 회귀 분석이 개발되어 의 값이 이전에 고정 된 설계된 실험과 관련하여 광범위하게 적용되기 때문 입니다. $\{X_1,...,X_n\}$ $X$

과 의 최소 제곱 추정치에 대한 공식 은 가 무작위로 가정 되더라도 동일 하지만 이러한 추정치의 분포는 일반적으로 고정 가있는 상황과 비교하여 동일하지 않습니다 . $\beta_0$ $\beta_1$ $X$ $X$

if we take the conditional expectation E(Y|X=35) ... would we just take 
the average(arithmetic mean) of y for those observations where X=35?

$\hat\varphi(x)$ $\mathbb E(Y|X = x)$ $\hat \beta_0$ $\hat \beta_1$

\hat{φ} (x) = {\hat{β}}_{0} + {\hat{β}}_{1} x

$\hat\varphi(x) = \hat\beta_0+\hat\beta_1x$
조건부 평균 최소 제곱 추정기는 모형이 다른 가중치를 단일 요인의 수준으로 처리하는 경우 설명 된 것과 같습니다. 이러한 모델은 일원 분산 분석으로도 알려져 있으며 (단순하지 않은) 선형 모델의 특별한 경우입니다.

— Mur1lo
소스

X

$X$

{\hat{β}}_{0}

$\hat\beta_0$

{\hat{β}}_{1}

$\hat\beta_1$

X

$X$

@whuber "먼저, 모델은 매개 변수에서 선형이기 때문에"선형 "이라고합니다." "선형 모델"의 "선형"의 의미가 아니라 방정식의 의미를 설명하고있었습니다. "추정값 β̂ 0과 β̂ 1은 X에 대해 가정 된 것에 관계없이 무작위 변수"이지만, 이러한 무작위 변수의 분포는 X를 다루는 방식에 따라 달라집니다.

— Mur1lo

@ whuber 나는 당신의 마지막 요점에 전적으로 동의합니다. 나는 당신이 지적한 모든 문제에서 더 명확하도록 답변을 편집 할 것입니다. 피드백을 주셔서 감사합니다.

— Mur1lo