정규 방정식 증명에 관한 질문

정규 방정식 : 에 X가 가역적이라는 가정없이 하나 이상의 솔루션 이 있음을 어떻게 증명할 수 있습니까? $(X^TX)\beta = X^TY$

내 유일한 추측은 그것이 일반화 된 역수와 관련이 있지만 완전히 잃어 버린 것입니다.

regression proof

— 랴티
소스

놀라운 답변을 불러 일으키는 질문을함으로써 포인트를 얻습니다.

— Nikana Reklawyks

하나는 이차적 인 형태이기 때문에

β \to (Y - X β)^{'} (Y - X β)

$\beta \to (Y - X\beta)'(Y - X\beta)$

양의 반정의 값이며, 최소값 인 가 있으며 을 사용하여 최소값을 찾습니다 ( 에 대한 기울기 를 0 으로 설정하여 ). $\beta$ $\beta$

X^{'} X (Y - X β) = 0,

$X'X(Y - X\beta) = 0,$

어디서 관계없이 계급의 적어도 하나 개의 솔루션이 있어야합니다 $X'X$ . 그러나이 주장은 문제의 정신에있는 것 같지 않으며 순수한 대수적 진술로 보인다. 아마도 그러한 방정식이 왜 해를 구해야하며 정확히 어떤 조건에서 이해해야 하는지를 이해하는 것이 좋습니다. 다시 시작하여 최소 제곱과의 연결을 모른다고 가정 해 봅시다.

그것은 모두의 의미에 내려 오는 의 전치 . 이것은 간단한 정의, 적절한 표기법 및 비 퇴행 적 세스 퀴 리니어 형식 의 개념으로 드러날 것입니다. 그 리콜 의 "설계 행렬"인 행 (관측 각 하나)과 (일정한있는 경우를 포함하여 각각의 변수에 대해 하나씩) 컬럼. 따라서 이는 벡터 공간 에서 의 선형 변환을 나타냅니다 . $X'$ $X$ $X$ $n$ $p$ $\mathbb V = \mathbb{R}^p$ $\mathbb W = \mathbb{R}^n$

선형 변환 이라고 생각 되는 의 조옮김은 이중 공간 의 선형 변환입니다 . 같은 조성물 이해하기 위해서는 하고, 그것을 확인하는 것이 필요하다 와 . 이것이 의 일반적인 내부 곱 (제곱합)이하 는 일입니다. $X$ $X': \mathbb{W}^* \to \mathbb{V}^*$ $X'X$ $\mathbb{W}^*$ $\mathbb{W}$ $\mathbb{W}$

실제로 및 각각 두 개의 내부 제품 및 정의되어 있습니다. 이것들은 변성되지 않은 실제 이중선 대칭 함수입니다 . 후자는 $g_V$ $g_W$ $\mathbb V$ $\mathbb W$

g_{W} (u, v) = 0 \forall u \in W ⟹ v = 0,

$g_W(u, v) = 0\ \forall u\in \mathbb W \implies v = 0,$

대한 유사한 진술이 . 기하학적으로 이러한 내부 제품을 사용하면 길이와 각도를 측정 할 수 있습니다. 조건 은 가 대해 "수직"인 것으로 생각 될 수있다 . 비 퇴질은 제로 벡터 만 전체 벡터 공간에 수직임을 의미합니다. (이 일반성은 여기서 얻은 결과가 일반화 된 최소 제곱 설정에 적용된다는 것을 의미합니다. 는 반드시 구성 요소의 곱으로 주어진 일반적인 내부 제품은 아니지만 임의의 비 형태입니다. 완전히 생략 할 수 있습니다 정의, $g_V$ $g(u,v)=0$ $u$ $v$ $g_W$ $g_V$ $X':\mathbb W\to\mathbb V^*$ 그러나 많은 독자들이 이중 공간에 익숙하지 않거나 불편할 것으로 예상하므로이 공식을 피하도록 선택하십시오.)

이러한 내부 제품을 사용하면 선형 변환 의 전치 가 로 정의됩니다 via $X: \mathbb V \to \mathbb W$ $X': \mathbb W \to \mathbb V$

g_{V} (X^{'} (w), v) = g_{W} (w, X (v))

$g_V(X'(w), v) = g_W(w, X(v))$

모든 와 . 실제로이 속성을 가진 벡터 가 존재한다는 것은 와 대한 물건을 작성함으로써 확립 될 수 있습니다 ; 이 벡터는 내부 제품의 비 퇴질성에 따라 고유하다는 점이 다릅니다. 경우 용 및 두 벡터가 어느위한 모두 후 (첫 번째 구성에서 선형성) 모든 의미를 . $w\in \mathbb W$ $v\in \mathbb V$ $X'(w) \in \mathbb V$ $\mathbb V$ $\mathbb W$ $v_1$ $v_2$ $g_V(v_1,v)=g_V(v_2,v)$ $v\in\mathbb V$ $g_V(v_1-v_2,v)=0$ $v$ $v_1-v_2=0$

경우 기입 모든 벡터의 집합에 대해 수직 인 모든 벡터에 . 또한 표기법, 쓰기의 문제로 의 이미지에 대한 집합으로 정의, . 근본적인 관계 사이의 및 트랜스 이고 $\mathbb U \subset \mathbb W,$ $\mathbb{U}^\perp$ $\mathbb U$ $X(\mathbb V)$ $X$ $\{X(v) | v \in \mathbb V\} \subset \mathbb W$ $X$ $X'$

X^{'} (w) = 0 ⟺ w \in X (V)^{⊥} .

$X'(w) = 0 \iff w \in X(\mathbb V)^\perp.$

즉, 의 커널에 경우에만, 의 화상에 수직 인 . $w$ $X'$ $w$ $X$ 이 주장은 두 가지를 말합니다.

경우 이어서, 모든 단순히 는 직교 함을 의미합니다 . $X'(w) = 0$ $g_W(w, X(v)) = g_V(X'(w),v) = g_V(0,v)=0$ $v\in\mathbb V$ $w$ $X(V)$
경우에 직교 만 수단, 모두 하지만 이것에 상당 그리고 nondegeneracy 의미 . $w$ $X(\mathbb V)$ $g_W(w, X(v)) = 0$ $v\in\mathbb V$ $g_V(X'(w), v) = 0$ $g_V$ $X'(w)=0$

우리는 실제로 끝났습니다. 분석 결과 는 직접 곱으로 분해됩니다. . 즉, 우리가 임의 취할 수있는 임의의 고유를 작성할 때 으로 및 . 이는 이 하나 이상의 대해 형식 임을 의미 합니다. 그러면 $\mathbb W$ $\mathbb W = X(\mathbb V) \oplus X(\mathbb V)^\perp$ $y \in \mathbb W$ $y = y_0 + y^\perp$ $y_0\in X(\mathbb V)$ $y^\perp \in X(\mathbb V)^\perp$ $y_0$ $X(\beta)$ $\beta\in\mathbb V$

y - X β = (y_{0} + y^{⊥}) - y_{0} = y^{⊥} \in X (V)^{⊥}

$y - X\beta = (y_0 + y^\perp) - y_0 = y^\perp \in X(\mathbb V)^\perp$

근본적인 관계는 그것이 의 커널에있는 왼쪽과 같다고 말합니다 . $X'$

X^{'} (y - X β) = 0,

$X'(y - X\beta) = 0,$

whence 는 정규 방정식 $\beta$ $X'X\beta = X'y.$

우리는 이제 질문에 대한 간단한 기하학적 해답을 제시 할 수있는 위치에있다 : 어떤 공식은 -vector 가 벡터의 합으로 (독특하게) 분해 되기 때문에 해를 구한다 의 범위에서 와 다른 벡터 직교 및 적어도 하나 개의 화상 인 - 벡터 . 이미지 의 치수 ( 순위 )는 식별 가능한 매개 변수 의 치수입니다 . 커널의 차원 $n$ $y\in\mathbb W$ $y_0$ $X$ $y^\perp$ $y_0$ $y_0$ $p$ $\beta\in\mathbb V$ $X(\mathbb V)$ $X$ 매개 변수 사이의 사소한 선형 관계를 계산합니다. 가 에서 의 이미지 까지 일대일 맵인 경우 모든 매개 변수를 식별 할 수 . $X$ $\mathbb V$ $\mathbb W$

공간을 모두 없애고 행렬 의 "열 공간"인 부분 공간 와 함께 작동 하는 것이 궁극적으로 유용합니다 . 정규 방정식은 에 직교 투영 됩니다. 이는 우리가 개념적으로 모델의 특정 매개 변수화에 묶이지 않도록 해주 며 최소 제곱 모델은 매개 변수화 방법에 관계없이 본질적인 차원을 가지고 있음을 보여줍니다 . $\mathbb V$ $\mathbb U = X(\mathbb V)\subset\mathbb W$ $X$ $\mathbb U$

이 추상 대수 데모의 흥미로운 결과 중 하나 는 임의의 벡터 공간에서 정규 방정식을 풀 수 있다는 것입니다. 예를 들어, 복잡한 공간, 유한 필드 위의 공간 (제곱의 합을 최소화하는 것은 거의 의미가 없음), 심지어 적절한 등분 형태를 지원하는 무한 차원 공간에서도 결과가 유지됩니다.

— 우버
소스

나는이 답변을 훨씬 나중에 받아 들일 담당자가 없었다. 나는 방금 이것에 걸려 넘어졌고 다시 감사하고 싶었다!

— ryati

I는 그 차 양식을 작성합니다 하기보다는 등 및 같은 것들에 대한 다른 화살표를 사용

β \mapsto (Y - X β)^{'} (Y - X β)

$\beta \mapsto (Y - X\beta)'(Y - X\beta)$

β \to (Y - X β)^{'} (Y - X β),

$\beta \to (Y - X\beta)'(Y - X\beta),$

f : A \to B .

$f:A\to B. \qquad$

— 마이클 하디

@Michael 댓글에 인쇄상의 오류가 있어야합니다. 무슨 뜻인지 분명히 말씀해 주시겠습니까?

— whuber

@ whuber : 인쇄상의 오류가 없습니다. 요점은 두 개의 화살표 와 의미가 다르다는 것입니다.

“ \mapsto''

$\text{“}\mapsto\text{''}$

“ \to''

$\text{“}\to\text{''}$

$\qquad$

— Michael Hardy

@Michael 많은 독서에도 불구하고 그 차이를 보지 못해서 저를 용서하십시오. 어쨌든, 첫 번째 화살표는 주입 기능을 나타내는 반면, 두 번째 화살표는 기능을 나타내는 것이지만, 의도 한 것이 아니라고 생각합니다. 표기법을 설명해 주시겠습니까?

— whuber

샘플 세트에 두 개 이상의 고유 한 (예측 자) 이있는 경우 의 역이 존재 한다는 것을 쉽게 보여줄 수 있습니다 (임의의 포인트 수 ) . 모든 데이터의 값이 (예 : 수직선을 따라 방향으로 쌓인 점) 가 동일한 경우에만 평균 을 통해 그려진 선 은 임의의 기울기 (회귀 계수)를 갖습니다. 그러면 LSE 회귀선이 고유하지 않습니다. $n$ $X^T X$ $x$ $x_i=x$ $y$ $\overline{y}$

— 루 코자 이드
소스

완전성을 위해,간단한 선형 회귀 분석의 경우 ,다중 선형 회귀 분석의 경우

X = [1 x_{1}; 1 x_{2}; \dots; 1 x_{n}]

$X=[1 ~x_1; 1 ~x_2; \ldots; 1 ~x_n]$

X = [1 x_{11} \dots x_{m 1}; \dots; 1 x_{1 n} \dots x_{m n}]

$X=[1 ~x_{11} \ldots x_{m1}; \ldots; 1 ~x_{1n} \ldots x_{mn}]$

— Lucozade

이 답변은 고차원 표면이 아닌 "선"에 맞는 일반적인 회귀의 경우에만 명확하게 적용되므로 주석에서 다중 회귀에 대한 참조는 수수께끼입니다. 또한, 당신은 다른 질문에 대답 한 것 같습니다 : 이것은 가 수없는 경우에 대해서만 묻습니다 .

X^{'} X

$X'X$

— whuber

일반적인 회귀 분석에서 X는 마른 체형이므로 확실히 되돌릴 수 없습니다 (돌이킬 수없는 상태 일 수 있음). X가 마른 체형이고 뒤집을 수없는 경우 X ^ T * X는 되돌릴 수 없음을 증명하는 것이 간단합니다 (도움이 필요한 경우 요청). 이 경우 정확히 하나의 솔루션이 있습니다. X에 전체 열 순위가 없으면 X ^ T * X는 전체 순위가 아니므로 시스템이 결정되지 않습니다.

— 사용자
소스

이러한 발언은 문제를 해결하지 않는 것 : 관계없이 계급의 , 여전히 것이다 존재 하는 솔루션을. 예를 들어, 가 모두 0의 행렬 인 극단적 인 경우를 고려하십시오 . 그런 다음 정규 방정식은 감소 하고 모든 는 해결책입니다.

X^{'} X

$X'X$

X

$X$

0 β = 0

$0\beta=0$

β

$\beta$

— whuber

whuber : 물론 그들은 다음과 같은 질문을 다룹니다 : X가 전체 열 순위이면 (한 번 언급 한 바와 같이), 시스템이 결정되지 않은 경우 무한한 해결책

— user542833

시스템이 "지정되었다"는 사실이 전혀 해결책이 없음을 의미하지는 않습니다. 문제는 솔루션의 존재에 관한 것입니다.

— whuber