선형 회귀 분석에서 바이어스-분산 트레이드 오프의 그래픽 표현이 있습니까?

정전으로 고통 받고 있습니다. 선형 회귀와 관련하여 바이어스-분산 트레이드 오프를 보여주기 위해 다음 그림을 제시했습니다.

데이터, 단순하고 복잡한 경우에 대한 다항식 모델

두 모델 중 어느 것도 적합하지 않다는 것을 알 수 있습니다. "단순"은 XY 관계의 복잡성을 인식하지 않으며 "복잡한"은 과도하게 적합하며 기본적으로 훈련 데이터를 학습합니다. 그러나 나는이 두 그림의 편견과 편차를 완전히 보지 못했습니다. 누군가 나에게 이것을 보여줄 수 있습니까?

추신 : 편향-분산 트레이드 오프에 대한 직관적 인 설명에 대한 답변 ? 실제로 나를 도와주지 않았다면 누군가 위의 그림을 기반으로 다른 접근법을 제공 할 수 있다면 기쁠 것입니다.

regression variance bias

— blubb
소스

바이어스 편차 트레이드 오프는 평균 제곱 오차의 분석을 기반으로합니다.

미디엄 에스 이자형 (\hat{와이}) = 이자형 [와이 - \hat{와이}]^{2} = 이자형 [와이 - 이자형 [\hat{와이}]]^{2} + 이자형 [\hat{와이} - 이자형 [\hat{와이}]]^{2}

$MSE(\hat{y})=E[y-\hat{y}]^2=E[y-E[\hat{y}]]^2+E[\hat{y}-E[\hat{y}]]^2$

편향-분산 거래를 보는 한 가지 방법은 모형 적합에 사용되는 데이터 집합의 속성입니다. 단순 모형의 경우 OLS 회귀를 직선에 맞추는 데 사용한다고 가정하면 4 개의 숫자 만 직선에 맞추는 데 사용됩니다.

x와 y 사이의 표본 공분산
x의 표본 분산
x의 표본 평균
y의 표본 평균

따라서, 임의의 동일한 번호 4 리드 위에 똑같은 끼워 라인 (10 점, 100 점, 점 100,000,000) 이끌 그래프. 따라서 어떤 점에서는 관찰 된 특정 샘플에 민감하지 않습니다. 이는 데이터의 일부를 효과적으로 무시하기 때문에 "편향"될 것임을 의미합니다. 데이터의 무시 된 부분이 중요한 경우 예측에 오류가 계속 발생합니다. 모든 데이터를 사용하는 적합 선을 하나의 데이터 점을 제거하여 얻은 적합 선과 비교하면이 정보가 표시됩니다. 그들은 매우 안정적인 경향이 있습니다.

이제 두 번째 모델은 얻을 수있는 모든 데이터 스크랩을 사용하고 데이터를 최대한 가깝게 맞 춥니 다. 따라서 모든 데이터 포인트의 정확한 위치가 중요하므로 OLS에서와 같이 적합 모델을 변경하지 않고 교육 데이터를 이동할 수 없습니다. 따라서 모델은 사용자가 보유한 특정 교육 세트에 매우 민감합니다. 동일한 드롭-원 데이터 포인트 플롯을 수행하면 적합 모형이 매우 달라집니다.

— 확률 론적
소스

모델 파라미터 추정의 바이어스 및 편차

또는 예측 된 출력 값

? 어떤 사람들은 바이어스 와 분산 이라는 용어 가 데이터

아니라 모델 파라미터

를 설명하기 위해서만 사용될 수 있다고 말합니다.

\hat{θ}

$\hat\theta$

\hat{y}

$\hat y$

θ

$\theta$

x, y

$x,y$

— 아보카도

나는 이것이 사실 생각하지 않는다, 나는 당신이 예측 (얘기 생각

추정 (대)

). 예를 들어 회귀 모수에 대해 "BLUE", 미래 데이터 포인트를 예측하기 위해 "BLUP"이 있습니다.

\hat{y}

$\hat {y}$

\hat{θ}

$\hat {\theta}$

— 확률

파라미터 추정을 위해

, 그 바이어스는

하지만,

바로 우리에게 알려지지? 또한 데이터 세트를 고려할 때 실제 모델이 어떤 모습 일지 모릅니다. 예를 들어 데이터 뒤의 실제 모델은

이지만 선형 회귀 모델을 선택합니다.

\hat{θ}

$\hat\theta$

b i a s (\hat{θ}) = θ - E [\hat{θ}]

$bias(\hat\theta)=\theta-E[\hat\theta]$

θ

$\theta$

f (x) = a + b x + c x^{2}

$f(x)=a+bx+cx^2$

진정한 매개 변수는 다음과 같습니다 : 그래서 여기에 역설 온다, 데이터에 맞게

우리가 추정하는 것을 시도해야 목표있는, 그러나 우리의 추정치와 끝까지

다음, 계산이나 분석

와

h (x) = d + e x

$h(x)=d+ex$

(a, b, c)

$(a,b,c)$

(d, e)

$(d,e)$

b i a s (d)

$bias(d)$

b i a s (e)

$bias(e)$

— 아보카도

@loganecolss-편견의 개념은 "로컬"로만 존재하기 때문에 역설이 아닙니다. 즉, 주어진 통계 모델과 관련하여. "역설"은 1) "실제 모델"을 알고 있고 2) 사용하지 않기로 결정한 사람에게 존재합니다. 저 사람은 저의 책에서 바보입니다. 당신은 "진정한 모델"알 수없는 경우 다음 문제가되지 않습니다 - 당신이 좋은 모델을 발견하고 그것을 사용하지 않기로 결정하지 않았다면 ...

— probabilityislogic

당신은 "진정한 모델"을 알고 있다는 환상을 가지고 있습니다. 그것은 제가 생각하기에 올바른 질문이 아닙니다. 더 많은 질문은 "현재 모델이 충분하지 않거나 너무 많은 매개 변수를 가지고 있지 않습니까?" -이것은 "진정한 모델"이 무엇인지 아는 것에 의존하지 않으며 표준 모델 진단을 통해 대답 할 수 있습니다. 예를 들어 왜 "진정한 모델"이 수집 한 변수의 함수이며

와 같은 함수 가 아닌 1)

값은 2) 그 중 몇 개가 있는지, 즉

모른다 .

f (x, z_{1}, z_{2}, \dots, z_{K})

$f (x, z_1, z_2,\dots, z_{K})$

z_{i}

$z_i$

K

$K$

— probabilityislogic

내가 생각하는 것을 비 수학적 방식으로 요약하면 다음과 같습니다.

치우침-단순 모델을 사용할 때 예측이 잘못되고 모델을 사용하는 모든 데이터 세트에서 발생합니다. 당신의 예측은 틀릴 것으로 예상됩니다
분산-복잡한 모형을 사용하는 경우 사용중인 데이터 세트에 따라 매우 다른 예측을 얻을 수 있습니다.

이 페이지에는 게시 한 것과 비슷한 다이어그램으로 꽤 좋은 설명이 있습니다. (단, 다이어그램으로 부분을 읽으면 상단 부분을 건너 뛰었습니다) http://www.aiaccess.net/English/Glossaries/GlosMod/e_gm_bias_variance.htm (마우스 오버는 눈치 채지 못한 경우 다른 샘플을 보여줍니다!)

— 왕
소스

흥미로운 페이지와 좋은 삽화이지만, (a) 회귀와 관련하여 논의 된 "바이어스"와 "분산"은 그 시작 부분에 정의 된 편향과 분산으로 보이지 않기 때문에 더 혼란스럽고 도움이됩니다. 페이지와 (b) (설명과 변수가 매개 변수의 수에 따라 어떻게 변하는 지에 관한) 진술이 정확하다는 것이 전혀 명확하지 않다.

— whuber