변수 벡터가 어떻게 초평면을 나타낼 수 있습니까?

통계 학습의 요소를 읽고 12 페이지 (섹션 2.3)에서 선형 모델은 다음과 같이 표기됩니다.

\hat{Y} = X^{T} \hat{β}

$\widehat{Y} = X^{T} \widehat{\beta}$

... 여기서 는 예측 변수 / 독립 변수 / 입력의 열 벡터의 전치입니다. (이전에는 "모든 벡터가 열 벡터로 가정된다"고 말 했으므로 를 행 벡터로 만들고 를 열 벡터로 만들지 않겠습니까?) $X^{T}$ $X^{T}$ $\widehat{\beta}$

에는 (일정한) 인터셉트를 제공하는 해당 계수와 곱해 지는 " " 이 포함됩니다 . $X$ $1$

계속해서 말합니다.

에서 차원 입출력 공간 초평면을 나타낸다. 상수가 포함 된 경우 초평면은 원점을 포함하며 부분 공간입니다. 그렇지 않은 경우 지점에서 축을 절단하는 아핀 세트 입니다. $(p + 1)$ $(X,\ \widehat{Y})$ $X$ $Y$ $(0,\ \widehat{\beta_0})$

" "는 예측 변수의 연결, 절편의 " "및 의해 형성된 벡터를 설명 합니까? 그리고 왜 "를 포함 않는 에서" 반드시 "고, 원점을 통과하는 초평면을 강제로 을 곱한 수"있다 ? $(X,\ \widehat{Y})$ $1$ $\widehat{Y}$ $1$ $X$ $1$ $\widehat{\beta_0}$

나는이 책을 이해하지 못한다. 도움 / 조언 / 리소스 링크는 대단히 감사하겠습니다.

regression references statistical-learning

— 스캇
소스

먼저 고려하는 것이 도움이 될 수 있습니다 . 이 경우 , 은 가로 채기입니다. 이것은 통과하는 선의 방정식입니다 . 더 높은 차원으로 확장 할 수 있습니다.

p = 1

$p = 1$

\hat{y} = {\hat{β}}_{0} + x \hat{β}

$\hat{y} = \hat{\beta}_0 + x \hat{\beta}$

β_{0}

$\beta_0$

(0, {\hat{β}}_{0})

$(0, \hat{\beta}_0)$

— ocram

@ocram의 도움이 충분하지 않으면 벡터를 써서 곱셈을 시도하십시오.

— Peter Flom

여기에 멋진 그래픽 프리젠 테이션는 다음과 같습니다 blog.stata.com/2011/03/03/... . 표기법이 다릅니다. A는 X이고 x는 입니다.

\hat{β}

$\hat \beta$

— Dimitriy V. Masterov 2016

책 이 잘못되었거나 적어도 일관성이 없습니다. 분명히 상수를 포함 하지 않는 변수 가 있습니다 . 따라서 은 실제로 초평면이지만 상수가 " 포함된다"고 말하는 것은 잘못 입니다. 대신 나는 그 책이 상수가 회귀에 포함되어 있지만 여전히 일부로 간주되어서는 안된다고 생각한다고 생각합니다 . 따라서 모델은 실제로 여기서 합니다. 설정하면 바로 인터셉트에 대한 어설 션이 제공됩니다.

p

$p$

{(X, \hat{Y}) | X \in R^{p}}

$\{(X,\hat{Y})|X\in\mathbb{R}^p\}$

X

$X$

X

$X$

\hat{Y} = {\hat{β}}_{0} + X^{'} \hat{β}

$\hat{Y}=\hat\beta_0 + X'\hat\beta$

β = (β_{1}, β_{2}, \dots, β_{p})^{'}

$\beta=(\beta_1,\beta_2,\ldots,\beta_p)'$

X = 0

$X=0$

— whuber

우리 대신에 일정한 포함하는 경우 ( , 우리는하자없는 자유롭게 모두 변할 그것이 내에있는 구속된다 : 차원 부분 공간의 그래프. 그러면

X

$X$

X

$X$

R^{p}

$\mathbb{R}^p$

p - 1

$p-1$

{(X, \hat{Y})}

$\{(X,\hat Y)\}$

2

$2$

— 좌표

답변:

하자 관측과의 숫자 설명 변수의 개수. $N$ $K$

$X$ 는 실제로 행렬입니다. 단일 관측 값을 볼 때만 각 관측 값을 일반적으로 - 열 벡터 곱한 특정 관측 값 스칼라의 설명 변수 행 벡터로 표시 합니다. 또한 는 모든 관측 값 보유 하는 열 벡터 입니다. $N\!\times\!K$ $x_i^T$ $K\!\times\!1$ $\beta$ $Y$ $N\!\times\!1$ $Y_n$

이제 2 차원 초평면은 벡터 와 1 (!) 열 벡터 사이에 걸쳐 있습니다. 기억 A는 매트릭스를 각각 설명 변수는 행렬의 단 하나 개의 열 벡터로 표시되도록 . 설명 변수가 하나만 있고 intercept 및 경우 모든 데이터 포인트는 와 확장 된 2 차원 평면을 따라 배치 됩니다. $Y$ $X$ $X$ $N\!\times\!K$ $X$ $Y$ $Y$ $X$

다중 회귀 분석의 경우 와 행렬 사이의 초평면에는 총 몇 개의 차원 이 있습니까? 답 : 에 설명 변수의 열 벡터 가 있으므로 차원 초평면이 있어야합니다 . $Y$ $X$ $K$ $X$ $K\!+\!1$

일반적으로, 매트릭스 설정에서, 회귀는 기울기 계수의 합리적인 분석을 위해 일정한 절편이 편향되지 않아야합니다. 이 트릭을 수용하기 위해, 행렬 의 한 열 은 " s" 로만 구성 됩니다. 이 경우 추정값 은 임의의 설명 변수 대신 각 관측 값에 대한 상수를 곱한 값입니다. 계수 의 기대치 따라서 나타내는 주어진 그런 값 1을 고정하고 다른 모든 변수가 제로되어있다. 따라서 차원 초평면은 차원 씩 차원 부분 공간으로 축소 되고 $X$ $1$ $\beta_1$ $\beta_1$ $Y$ $x_{1i}$ $K\!+\!1$ $K$ $\beta_1$ 은이 차원 평면 의 "절편"에 해당합니다 . $K$

행렬 설정에서는 결과의 직관을 찾을 수 있는지 확인하기 위해 항상 2 차원의 간단한 사례를 살펴 보는 것이 좋습니다. 여기서, 가장 간단한 방법은 두 설명 변수로 단순 회귀 생각이다 또는 대안 행렬 대수 표현 : 여기서 인 행렬.

y_{i} = β_{1} x_{1 i} + β_{2} x_{2 i} + u_{i}

$y_i=\beta_1x_{1i} + \beta_2x_{2i} +u_i$

Y = X β + u

$Y=X\beta +u$

X

$X$

N \times 2

$N\!\times\!2$

$<Y,X>$ 는 3 차원 초평면에 걸쳐 있습니다.

이제 을 모두 로 강제 설정하면 를 얻습니다. 2 차원 플롯 으로 표현할 수있는 일반적인 단순 회귀입니다 . 참고 본래 3 차원 초평면의 하위 - 이제 이차원 라인이 감소된다. 계수 은 에서 선 절단의 절편에 해당합니다 . $x_1$ $1$

y_{i} = β_{1 i} + β_{2} x_{2 i} + u_{i}

$y_i=\beta_{1i} + \beta_2x_{2i} + u_i$

X, Y

$X,\ Y$

< Y, X >

$<Y,X>$

β_{1}

$\beta_1$

x_{2 i} = 0

$x_{2i}=0$

또한 상수 가 포함 된 경우 을 통과 함을 알 수 있습니다 . 상수를 빼면 회귀 초평면은 항상 통과합니다 . 의심 할 여지가 없습니다. 이것은 : 도출 할 때 나중에 볼 수 있듯이 여러 차원으로 일반화됩니다 . 는 정의 당 전체 순위가 있으므로 이므로 인터셉트를 생략하면 회귀가 원점을 통과합니다. $<0,\beta_1>$ $<0,0>$ $\beta$

(X^{'} X) β = X^{'} y ⟹ (X^{'} X) β - X^{'} y = 0 ⟹ X^{'} (y - X β) = 0.

$(X'X)\beta=X'y \implies (X'X)\beta-X'y=0 \implies X'(y-X\beta)=0.$

X

$X$

y - X β = 0

$y-X\beta=0$

( 편집이 : 난 그냥 두 번째 질문이 상수의 포함 또는 제외를 regading 정확히 반대가 작성한 것을 깨달았다 그러나, 나는 이미 여기에 솔루션을 고안하고 내가 그 일에 대한 잘못된 생각하면 내가 그렇군요.. )

회귀의 행렬 표현은 처음에는 매우 혼란 스러울 수 있지만 더 복잡한 대수를 도출 할 때 결국 단순화합니다. 이것이 조금 도움이되기를 바랍니다.

— 마테 테
소스

나는 그것을 생각하는 방법이 그 방정식을 재정렬하는 것이라고 생각합니다.

\hat{Y} - X^{T} \hat{β} = 0

$\widehat{Y} - X^{T} \widehat{\beta} = 0$

원점을 포함하는 선형 방정식을 얻는 유일한 방법은 예측 된 을 절편과 동일하게 만드는 것 입니다. 그리고 그 값을 추정하는 방법은 회귀 모형에 절편을 포함시키는 것입니다.

\hat{Y}

$\widehat{Y}$

— DWin
소스