11

척도 등분 산에 대한 공식적인 정의는 없지만 통계 학습 입문에 대해 p. 217 :

표준 최소 제곱 계수는 스케일 등변 량입니다 . 에 상수 를 곱 하면 최소 제곱 계수 추정치의 배율이 의 계수로 이어집니다 . $X_j$ $c$ $1/c$

간략화를 들어, 일반 선형 모델을 가정하자 , , 는 , 및 모든 항목 이있는 행렬 (여기서 )입니다. 은 인 실수 값 랜덤 변수 의 차원 벡터입니다 . $\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\epsilon$ $\mathbf{y} \in \mathbb{R}^N$ $\mathbf{X}$ $N \times (p+1)$ $p+1 < N$ $\mathbb{R}$ $\boldsymbol\beta \in \mathbb{R}^{p+1}$ $\boldsymbol\epsilon$ $N$ $\mathbb{E}[\boldsymbol\epsilon] = \mathbf{0}_{N \times 1}$

OLS 추정을 통해 $\mathbf{X}$ 전체 (열) 순위가

β^X = (X T X) - 1 X T y .

$\hat{\boldsymbol\beta}_{\mathbf{X}} = (\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{y}\text{.}$ 우리가

열을 곱

X $\mathbf{X}$ 했다고 가정하면 ,

xk $\mathbf{x}_k$ 는

k∈{1,2,…,p+1} $k \in \{1, 2, \dots, p+1\}$ 에서 상수

c≠0 $c \neq 0$ . 이것은 행렬과 같습니다.

X ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ 11 ⋱ 1 c 1 ⋱ 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥                                      S = [x 1 x 2 \dots c x k \dots x p + 1] \equiv X ~

$\begin{equation} \mathbf{X}\underbrace{\begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & c\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}}_{\mathbf{S}} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots & c\mathbf{x}_{k} & \cdots & \mathbf{x}_{p+1}\end{bmatrix} \equiv \tilde{\mathbf{X}} \end{equation}$ 매트릭스의 다른 엔트리

S $\mathbf{S}$ 위에있는

0 $0$ , 및

c $c$ 에

k $k$ 의 대각 엔트리의 제

S $\mathbf{S}$ . 그때,

X~ $\tilde{\mathbf X}$

X~ $\tilde{\mathbf X}$ 새로운 디자인 매트릭스는

β^X ~ = (X ~ T X ~) - 1 X ~ T y .

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \left(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}\right)^{-1}\tilde{\mathbf{X}}^{T}\mathbf{y}\text{.}$ 몇 가지 작업을 마친 후에는

X ~ T X ~ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ x T 1 x 1 x T 2 x 1 ⋮ c x T k x 1 ⋮ x T p + 1 x 1 x T 1 x 2 x T 2 x 2 ⋮ c x T k x 2 ⋮ x T p + 1 x 2 \dots \dots ⋱ \dots ⋮ \dots c x T 1 x k c x T 2 x k ⋮ c 2 x T k x k ⋮ c x T p + 1 x p + 1 \dots \dots \dots \dots \dots \dots x T 1 x p + 1 x T 2 x p + 1 ⋮ c x T k x p + 1 ⋮ x T p + 1 x p + 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{x}_1 & \mathbf{x}_1^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_1^{T}\mathbf{x}_k & \cdots & \mathbf{x}_1^{T}\mathbf{x}_{p+1} \\ \mathbf{x}_2^{T}\mathbf{x}_1 & \mathbf{x}_2^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_2^{T}\mathbf{x}_k & \cdots & \mathbf{x}_2^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \ddots & \vdots & \cdots & \vdots \\ c\mathbf{x}_k^{T}\mathbf{x}_1 & c\mathbf{x}_k^{T}\mathbf{x}_2 & \cdots & c^2\mathbf{x}_k^{T}\mathbf{x}_k & \cdots & c\mathbf{x}_k^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \vdots & \vdots & \cdots & \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{x}_1 & \mathbf{x}_{p+1}^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} & \cdots & \mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} \\ \end{bmatrix}$ \ cdots & \ mathbf {x} _ {p + 1} ^ {T} \ mathbf {x} _ {p + 1} \\ \ end {bmatrix} 및

X ~ T y = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ x T 1 y x T 2 y ⋮ c x T k y ⋮ x T p + 1 y ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\tilde{\mathbf{X}}^{T}\mathbf{y} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix}$ 위에서 인용 한 주장을 보여주기 위해 여기에서 어떻게 가야합니까 (즉,

β^X~=1cβ^X $\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \dfrac{1}{c}\hat{\boldsymbol\beta}_{\mathbf{X}}$ )?

계산 방법은 확실하지 않습니다

(X~TX~)−1 $(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$ .

least-squares linear-model

— 클라리넷
소스

내가 생각하는 당신의 바로, 그것은 실종되지 않는 전체 행에 승수를.

X~TX~ $\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}$

c $c$

— Firebug

1

또한, 마음에 곰 주장이다 이 아니라 모든이 .

β^k,new=1cβ^k,old $\hat{\beta}_{k, \text{new}}={1\over c}\hat{\beta}_{k, \text{old}}$

β $\beta$

— Firebug

@Firebug Yep, 방금 알아 냈습니다. 답변을 게시하고 있습니다.

— Clarinetist

2

사용자가 교체 할 수 있는 모든 승산 때문에, 훨씬 단순한 단위 분석하여 대수 하여 단지 측정의 단위를 변경하고 따라서 그 계수와 연관된 장치에 대응하는 변화 하여 분할한다 . 불행히도 를 로 는 것을 증명하지는 않습니다 . 그러나이 생각의 연쇄는 한 번에 한 회귀 자에 대해 연속 회귀를 통해 다중 회귀를 수행 할 수 있음을 상기시켜 줄 수 있습니다. 여기서 가 로 나뉘어져 있으므로 증명이 완료됩니다.

Xj $X_j$

c $c$

βj $\beta_j$

c $c$

β^j $\hat \beta_j$

c $c$

β^j $\hat\beta_j$

c $c$

— 우버

@ whuber, 결과에 대한 직감은 분명하지만 증거를 제공하는 데 약간의 대수가 있어야합니다. 결국, 스케일링 계수 는 반전되어야합니다.

c $c$

— user795305

11

인용의 주장 은 의 열 크기를 재조정하는 것에 대한 문장 의 모음 이므로 한 번에 모두 증명할 수도 있습니다. 실제로 어설 션의 일반화를 증명하기 위해 더 이상 노력할 필요가 없습니다. $X$

경우 가역 행렬 오른쪽 곱 $X$ $A$ , 새로운 계수 추정치 같은지 의해 승산 왼쪽 . $\hat\beta_A$ $\hat \beta$ $A^{-1}$

필요한 대수적 사실은 행렬 및 역변환 행렬에 대한 및 . (일반화 된 역으로 작업 할 때 후자의 미묘한 버전이 필요합니다 $(AB)^\prime=B^\prime A^\prime$ $AB$ $(AB)^{-1}=B^{-1}A^{-1}$ $A$ $B$ $A$ 및 및 모든 경우 . ) $B$ $X$ $(AXB)^{-} = B^{-1}X^{-}A^{-1}$

대수 증명 :

β^A = ((X A)' ((X A)) - (X A)' y = A - 1 (X' X) - (A') - 1 A' y = A - 1 β^,

$\hat\beta_A = ((XA)^\prime ((XA))^{-}(XA)^\prime y = A^{-1}(X^\prime X)^{-} (A^\prime)^{-1}A^\prime y = A^{-1}\hat \beta,$

QED. (이 증명을 완전히 일반화하기 위해 위첨자는 일반화 된 역을 나타냅니다.) $^-$

형상 별 증명 :

및 밑이 및 인 경우 는 에서 까지의 선형 변환을 나타냅니다 . 와 곱셈은 이 변환을 고정 된 상태로 유지 하지만 를 (즉, 의 열)로 변경하는 것으로 간주 할 수 있습니다 . 그 기초의 변화에 따라 $E_p$ $E_n$ $\mathbb{R}^n$ $\mathbb{R}^p$ $X$ $\mathbb{R}^p$ $\mathbb{R}^n$ $X$ $A$ $E_p$ $AE_p$ $A$ 모든 벡터 왼쪽 승산 통해 변경해야 , $\hat\beta\in\mathbb{R}^p$ $A^{-1}$ QED .

(이 증명은 가 되돌릴 수없는 경우에도 수정되지 않은 상태로 작동합니다 .) $X^\prime X$

인용은 구체적 으로 대해 이고 인 대각선 행렬 의 경우를 나타냅니다 . $A$ $A_{ii}=1$ $i\ne j$ $A_{jj}=c$

최소 제곱으로 연결

여기서 목표는 첫 번째 원리를 사용하여 결과를 얻는 것입니다. 원리는 최소 제곱의 원리입니다. 잔차 제곱의 합을 최소화하는 계수 추정입니다.

다시 말하지만, (거대한) 일반화를 증명하는 것은 더 이상 어렵지 않으며 오히려 드러납니다. 가정 실제 벡터 공간의 모든 맵 (선형 또는하지 않음)이고 가정 어떠한 실수 함수 . 하자 점의 (하늘의) 세트는 수 하는

ϕ : V p \to W n

$\phi:V^p\to W^n$

Q $Q$

Wn $W^n$

U⊂Vp $U\subset V^p$

v $v$

Q(ϕ(v)) $Q(\phi(v))$ 최소화된다.

결과 : 는 와 의해서만 결정 되며 벡터를 나타내는 데 사용되는 기본 선택에 의존하지 않습니다. $U$ $Q$ $\phi$ $E_p$ $V^p$ .

증명: QED.

증명할 것이 없습니다!

결과의 응용 : 하자 긍정적 semidefinite 차 형태 일 ,하자 및 가정 되는 선형으로 표시하는지도 때의 염기 및 이 선택됩니다. 정의하십시오 . 의 기준을 선택하고 가 그 기준으로 일부 의 표현 이라고 가정하십시오 . 이것은 최소 제곱입니다 . 는 제곱 거리 최소화합니다 . 때문에 $F$ $\mathbb{R}^n$ $y\in\mathbb{R}^n$ $\phi$ $X$ $V^p=\mathbb{R}^p$ $W^n=\mathbb{R}^n$ $Q(x)=F(y,x)$ $\mathbb{R}^p$ $\hat\beta$ $v\in U$ $x=X\hat\beta$ $F(y,x)$ $X$ 는 의 기초를 변경하는 선형 맵으로, $\mathbb{R}^p$ 에 비가역 행렬 를 오른쪽 곱하는 것에 해당합니다 . 에 , QED를 곱하면됩니다 . $X$ $A$ $\hat\beta$ $A^{-1}$

— 우버
소스

6

최소 제곱 추정량 . 여기서 설계 행렬 가 전체 순위입니다. 스케일링 행렬 가 돌이킬 수 없다고 가정합니다 . $\hat\beta = \arg\min_{\beta\in\mathbb{R}^p} \|y - X \beta\|_2^2$ $X \in \mathbb{R}^{n \times p}$ $S \in \mathbb{R}^{p \times p}$

이 새로운 스케일 추정량 . 이것은 모든 대해 입니다 . 정의 위와 같이, 우리는 다시 작성할 수 있습니다이 표시 불평등 모든 . 따라서 이므로 최소 제곱 추정기 따릅니다. 스케일링 행렬의 반전으로 인해 $\tilde\alpha = \arg\min_{\alpha\in\mathbb{R}^p} \|y - X S \alpha\|_2^2$

∥ y - X S α ~ ∥ 22 < ∥ y - X S α ∥ 22

$\|y - X S \tilde\alpha\|_2^2 < \|y - X S \alpha\|_2^2$

α≠α~ $\alpha\ne \tilde\alpha$

β~=Sα~ $\tilde\beta = S \tilde\alpha$

∥ y - X β ~ ∥ 22 < ∥ y - X β ∥ 22

$\|y - X \tilde\beta \|_2^2 < \|y - X \beta \|_2^2$

β≠β~ $\beta \ne \tilde\beta$

β~=argminβ∈Rp∥y−Xβ∥22 $\tilde\beta = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2$

β^= β ~ = S α ~ .

$\begin{align*} \hat\beta = \tilde\beta = S \tilde\alpha. \end{align*}$

S $S$ 따릅니다 . 우리의 경우에서이 만 다르다 바이 항목으로 축소되는 .

α~=S−1β^ $\tilde\alpha = S^{-1} \hat\beta$

β^ $\hat\beta$

kth $k^\mathrm{th}$

1c $\frac{1}{c}$

— 사용자
소스

1

및 이와 유사한 함수 를 다루는 데 익숙하지는 않습니다. 두 번째 방정식에서 세 번째 방정식으로의 전환을 설명 할 수 있습니까?

arg min $\text{arg min}$

— Clarinetist

나는 조금 다르게 작성하여 단계를보다 명확하게해야합니다.

— user795305

이것은 정말 영리합니다. (+1)

— Clarinetist

4

나는 질문을 게시 한 후 이것을 알아 냈습니다. 그러나 내 일이 정확하다면 나는 그 주장을 잘못 해석했다. 만 스케일링의 하나 개의 구성 요소에서 발생 의 열에 대응 승산되는 . $\dfrac{1}{c}$ $\boldsymbol\beta$ $\mathbf{X}$ $c$

공지 것을 위의 표기법은, 대각선 대칭이다 행렬과 (이 대각선 때문에) 역을 갖는다 참고 은 행렬입니다. 하자가 생각하는 $\mathbf{S}$ $(p+1) \times (p+1)$

S - 1 = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ 11 ⋱ 1 1 c 1 ⋱ 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ .

$\mathbf{S}^{-1} = \begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & \frac{1}{c}\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}\text{.}$

(X~TX~)−1 $(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$

(p+1)×(p+1) $(p+1)\times(p+1)$

(X T X) - 1 = [z 1 z 2 \dots z k \dots z p + 1] .

$(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 & \mathbf{z}_2 & \cdots & \mathbf{z}_k & \cdots & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

(X ~ T X ~) - 1 = [(X S) T X S] - 1 = (S T X T X S) - 1 = (S X T X S) - 1 = S - 1 (X T X) - 1 S - 1 .

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1} = [(\mathbf{X}\mathbf{S})^{T}\mathbf{X}\mathbf{S}]^{-1} = (\mathbf{S}^{T}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1} = (\mathbf{S}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1}=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}\text{.}$ 따라서 그리고 이것을 은 에 곱한 것과 비슷한 효과를냅니다 . :

S - 1 (X T X) - 1 = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ z 1 z 2 ⋱ 1 c z k ⋱ z p + 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}$

S−1 $\mathbf{S}^{-1}$

X $\mathbf{X}$

S $\mathbf{S}$

1czk $\frac{1}{c}\mathbf{z}_k$ 곱

1c $\frac{1}{c}$

S - 1 (X T X) - 1 S - 1 = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ z 1 z 2 ⋱ 1 c 2 z k ⋱ z p + 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ .

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$ 따라서

β^X ~ = S - 1 (X T X) - 1 S - 1 (X S) T y = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ z 1 z 2 ⋱ 1 c 2 z k ⋱ z p + 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ x T 1 y x T 2 y ⋮ c x T k y ⋮ x T p + 1 y ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ z 1 x T 1 y z 2 x T 2 y ⋮ 1 c z k x T k y ⋮ z p + 1 x T p + 1 y ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\begin{align} \hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}}&=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}(\mathbf{X}\mathbf{S})^{T}\mathbf{y} \\ &= \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{z}_1\mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{z}_2\mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ \frac{1}{c}\mathbf{z}_k\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{z}_{p+1}\mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \end{align}$ 원하는대로.

— 클라리넷
소스

오타에있다 입니다. 당신은 전치 필요 .

S−1(XTX)−1S−1(XS)y $\mathbf{S}^{-1}( \mathbf{X}^{T}\mathbf{X})^{-1} \mathbf{S}^{-1}(\mathbf{X} \mathbf{S}) \mathbf{y}$

(XS) $(\mathbf{X}\mathbf{S})$

— JohnK

3

가장 사소한 증거

선형 방정식으로 시작합니다. 이제 회귀 자의 스케일을 변경하려고합니다. 미터법에서 영국식으로 변환하고 킬로그램에서 파운드, 미터에서 야드 등을 알고 있습니다. 변환 행렬이 경우 각 는 설계 행렬 변수 (열) 에 대한 변환 계수입니다.

Y = X β + ε

$Y=X\beta+\varepsilon$

S=diag(s1,s1,…,sn) $S=diag(s_1,s_1,\dots,s_n)$

si $s_i$

i $i$

X $X$ .

방정식을 다시 작성해 봅시다 :

Y = (X S) (S - 1 β) + ε

$Y=(XS)(S^{-1}\beta)+\varepsilon$

스케일링은 계수 추정의 OLS 방법이 아니라 방정식의 선형성의 속성이라는 것이 매우 분명합니다. 선형 방정식을 사용한 추정 방법에 관계없이 회귀 분석기가 로 스케일링 될 때 새로운 계수는 로 스케일링되어야합니다. $XS$ $S^{-1}\beta$

대수에 의한 OLS 전용 증명

스케일링은 다음과 같습니다. 여기서 각 변수의 스케일 팩터 (열) 및 는 스케일링 된 버전 입니다. 대각 스케일 매트릭스 . 이다 추정 귀하의 OLS 하자 플러그 스케일 행렬 대신 일부 사용 행렬 대수 : 따라서 새 계수가 예상대로 기존 계수가 어떻게 축소되었는지를 알 수 있습니다.

Z = X * d i a g (s 1, s 2, . . ., s n)

$Z=X*diag(s_1,s_2,...,s_n)$

si $s_i$

Z $Z$

X $X$

S≡diag(s1,s2,...,sn) $S\equiv diag(s_1,s_2,...,s_n)$

β^= (X T X) - 1 X T Y

$\hat\beta=(X^TX)^{-1}X^TY$

Z $Z$

X $X$

(Z T Z) - 1 Z T Y = (S T X T X S) - 1 S T X T Y = S - 1 (X T X) - 1 S - 1 S X T Y = S - 1 (X T X) - 1 X T Y = S - 1 β^

$(Z^TZ)^{-1}Z^TY=(S^TX^TXS)^{-1}S^TX^TY=S^{-1}(X^TX)^{-1}S^{-1}SX^TY\\ =S^{-1}(X^TX)^{-1}X^TY=S^{-1}\hat\beta$

— 악사 칼
소스

2

나는 당신의 접근 방식을 좋아하지만 "가장 사소한 증거"라는 확신을 갖지 못합니다. 재 작성된 모델이 원래 모델과 동일해야 함을 암시 적으로 가정하고 여전히 보여줄 필요가 있습니다. 더 엄격하게 설명하려면 피팅 절차 를 함수 , 여기서 은 가능한 모든 데이터 세트 순서 쌍 로 쓸 수 )이고 는 가능한 모든 계수 추정치 세트입니다. 모두에 대한 가역 , 모든 및 모든 . (항상 그렇지는 않습니다!)

δ:M→Rp $\delta:M\to\mathbb{R}^p$

M $M$

(X,Y) $(X,Y)$

Rp $\mathbb{R}^p$

δ(X,Y)=S−1δ(XS,Y) $\delta(X,Y)=S^{-1}\delta(XS,Y)$

S $S$

X $X$

Y $Y$

— whuber

@ whuber, 실제로는 다른 방법입니다 : 합리적인 피팅 절차는이 조건을 충족해야합니다. 그렇지 않으면 간단한 측정 단위 변경으로 인해 다른 예측 / 추정이 생성됩니다. 난 내 대답을 업데이트하고 조금 생각합니다

— Aksakal

동의하지만 가 전체 순위가 아닌 경우 예외를 상상할 수 있습니다 . 그것이 나에게 상황이 생각보다 사소한 것은 아니라고 제안한 것입니다.

X $X$

— whuber

3

왕실이 아닌 제국 배우자 ... : D (Nice answer, +1)

— usεr11852

@ usεr11852, 나는 :) 오늘 뭔가를 배웠

— Aksakal

2

이 결과를 얻는 쉬운 방법은 가 의 열 공간에서 의 투영 이라는 것을 기억하는 것 는 가 선형으로 표현 될 때 계수의 벡터입니다 의 열 조합 . 일부 열이 인수 로 스케일링되는 경우 선형 조합의 해당 계수가 스케일링되어야합니다 . $\hat{y}$ $y$ $X.$ $\hat{\beta}$ $\hat{y}$ $X$ $c$ $1/c$

하자 의 값일 및 한 컬럼에 의해 스케일링 될 때 OLS 용액의 값일 $b_i$ $\hat{\beta}$ $a_i$ $c.$

$b_1x_1 + ... + b_ix_i + ...+ b_mx_m = a_1x_1 + ... a_i(cx_i) + ... +a_nx_n$

그 의미 여기서 및 의 열 가정 선형 독립적이다. $b_j = a_j$ $j \neq i$ $b_i = a_ic$ $X$

— 조니로 몬드
소스

OLS 추정기가 척도 등변 량임을 보여주는가?

최소 제곱으로 연결

가장 사소한 증거

대수에 의한 OLS 전용 증명