선형 회귀 계수 추정에 대한 분석 솔루션


9

행렬 표기법을 이해하고 벡터 및 행렬로 작업하려고합니다.

지금 은 다중 회귀 분석에서 계수 추정값 벡터가 어떻게 계산되는지 이해하고 싶습니다 .β^

기본 방정식은

ddβ(y−Xβ)′(y−Xβ)=0.

이제 여기서 벡터 \ beta 를 어떻게 해결할 수 β있습니까?

편집 : 잠깐 만요. 나는 지금 여기 있고 계속하는 방법을 모른다 :

ddβ((y1y2⋮yn)−(1x11x12…x1p1x21x22…x2p⋮⋮1xn1xn2…xnp)(β0β1⋮βp))′((y1y2⋮yn)−(1x11x12…x1p1x21x22…x2p⋮⋮1xn1xn2…xnp)(β0β1⋮βp))

ddβ∑i=1n(yi−(1xi1xi2…xip)(β0β1⋮βp))2

함께 모두 절편 인 :xi0=1i

ddβ∑i=1n(yi−∑k=0pxikβk)2

올바른 방향으로 나를 가리킬 수 있습니까?


@GaBorgulya는 편집 해 주셔서 감사합니다.에 대해 몰랐 smallmatrix으므로 편집을 시도하지 않았습니다. 여러 줄에서 수식을 깨는 일반적인 해결책은 여기서 효과가 없었기 때문입니다.
— mpiktas

답변:


12

우리는

ddβ(y−Xβ)′(y−Xβ)=−2X′(y−Xβ) .

성분을 사용하여 방정식을 명시 적으로 작성하여 표시 할 수 있습니다. 예를 들어 대신 를 작성하십시오 . 그런 다음 , , ..., 모든 것을 답을 얻으십시오. 빠르고 쉬운 설명을 위해 시작할 수 있습니다 .(β1,…,βp)′ββ1β2βpp=2

경험이 있으면 일반적인 규칙을 개발할 수 있으며 그 중 일부는 예를 들어 해당 문서 에 나와 있습니다 .

질문의 추가 부분을 안내하도록 편집

와 우리는이p=2

(y−Xβ)′(y−Xβ)=(y1−x11β1−x12β2)2+(y2−x21β1−x22β2)2

대한 미분 은β1

−2x11(y1−x11β1−x12β2)−2x21(y2−x21β1−x22β2)

마찬가지로 대한 미분 은β2

−2x12(y1−x11β1−x12β2)−2x22(y2−x21β1−x22β2)

따라서, 대한 미분 은β=(β1,β2)′

(−2x11(y1−x11β1−x12β2)−2x21(y2−x21β1−x22β2)−2x12(y1−x11β1−x12β2)−2x22(y2−x21β1−x22β2))

이제 마지막 표현식을 다음과 같이 다시 작성할 수 있습니다.

−2(x11x21x12x22)(y1−x11β1−x12β2y2−x21β1−x22β2)=−2X′(y−Xβ)

물론 더 큰 대해 모든 것이 동일한 방식으로 수행됩니다 .p


굉장히, 나는 그 유형의 pdf를 정확하게 찾고있었습니다. 정말 감사합니다!
— Alexander Engelhardt

아, 나는 지금 스스로 할 수 있다고 생각했지만 할 수는 없습니다. 내 발걸음이 옳은지 또는이 문제를 해결하기 위해 "또 다른 방법"을 취해야하는지 말해 줄 수 있습니까?
— Alexander Engelhardt

@Alexx Hardt : 편집의 첫 번째 방정식은 p = 2 인 특정 경우의 마지막 방정식과 동일하므로 구성 요소 3, 4, ..., p에 대한 계산을 모방 할 수 있습니다.
— ocram

다시 한 번 감사드립니다 :) 나는 실제로 세 가지 제안을 모두 사용할 것이라고 생각합니다. 나는 기본 통계 매트릭스 대수를 설명하고 요약하는 .pdf를 작성하고 있습니다. 왜냐하면 수업에서 배울 때 결코 배우고 싶지 않았기 때문입니다. 세 가지 방법으로 해결하면 더 잘 이해할 수 있기를 바랍니다.
— Alexander Engelhardt

아, 그러나 이것은 p = 2와 n = 2에 대한 것입니다. 내가 생각하는 n = 3으로 적어 두겠습니다.
— Alexander Engelhardt

13

Matrix cookbook의 수식을 사용할 수도 있습니다 . 우리는

(y−Xβ)′(y−Xβ)=y′y−β′X′y−y′Xβ+β′X′Xβ

이제 각 항의 미분을 취하십시오. 당신은 그 통지를 할 수 있습니다 . 대한 용어 의 미분 은 0입니다. 나머지 기간β′X′y=y′Xβy′yβ

β′X′Xβ−2y′Xβ

기능의 형태이다

f(x)=x′Ax+b′x,

페이지 (11)이 책의 식 (88)에서와 , 및 . 유도체는 식 (89)에 주어진다 :x=βA=X′Xb=−2X′y

∂f∂x=(A+A′)x+b

그래서

∂∂β(y−Xβ)′(y−Xβ)=(X′X+(X′X)′)β−2X′y

이제 이후 원하는 솔루션을 얻습니다.(X′X)′=X′X

X′Xβ=X′y

+1 mpiktas : 귀하의 솔루션은 저보다 독창적이며 더 복잡한 실제 상황에서 사용해야한다고 생각합니다.
— ocram

1
@ocram, 감사합니다. 나는 그것을 독창적이라고 부르지 않을 것이며, 그것은 기존 공식의 표준 응용 프로그램입니다. 당신은 단지 공식을 알아야합니다 :)
— mpiktas

8

다음은 실제로 더 일반적인 설정에 적용 할 수있는 유용한 회귀 분석에서 제곱합을 최소화하는 기술입니다.

벡터 행렬 미적분학을 완전히 피하려고 노력합시다.

을 최소화하는 데 관심이 있다고 가정합니다. 여기서 , 및 입니다. 간단히하기 위해 및 입니다.

E=(y−Xβ)T(y−Xβ)=‖y−Xβ‖22,
y∈RnX∈Rn×pβ∈Rpp≤nrank(X)=p

상관 없음 , 우리의 get β^∈Rp

이자형=”와이−엑스β^+엑스β^−엑스β”22=”와이−엑스β^”22+”엑스(β−β^)”22−2(β−β^)티엑스티(와이−엑스β^).

우리가 벡터 선택하여 ( !) 오른쪽의 마지막 항이 모든 대해 0 이되도록하면 .β^ β분β이자형≥”와이−엑스β^”22

그러나, 모든 경우에만, 과 이 마지막 방정식은 경우에만 적용됩니다 . 따라서 를 취하면 가 최소화됩니다 .(β−β^)티엑스티(와이−엑스β^)=0β엑스티(와이−엑스β^)=0엑스티엑스β^=엑스티와이이자형β^=(엑스티엑스)−1엑스티와이


이것은 미적분학을 피하기위한 "트릭"처럼 보일 수 있지만 실제로는 더 넓은 적용 범위를 가지고 있으며 흥미로운 흥미로운 지오메트리가 있습니다.

이 기법 이 어떤 행렬-벡터 미적분학 접근법보다 유도를 훨씬 간단 하게 만드는 한 가지 예 는 행렬의 경우를 일반화 할 때입니다. 하자 , 및 . 매개 변수 의 전체 행렬 에 대해 을 최소화한다고 가정합니다 . 여기서 는 공분산 행렬입니다.와이∈아르 자형엔×피엑스∈아르 자형엔×큐비∈아르 자형큐×피

이자형=티아르 자형((와이−엑스비)Σ−1(와이−엑스비)티)
비Σ

위와 완전히 유사한 접근 방식 은 를 가져 와서 최소 는 것을 신속하게 확립합니다 즉, 반응이 공분산 가있는 벡터 이고 관측치가 독립적 인 회귀 설정에서 반응 의 성분에 대해 개의 선형 회귀를 수행하여 OLS 추정값을 얻을 수 있습니다.이자형

비^=(엑스티엑스)−1엑스티와이.
Σ피

다행히 포럼 규칙에 따라 모든 답변에 +1을 추가 할 수 있습니다. 교육 주셔서 감사합니다, 여러분!
— DWin

@DWin, 당신은 질문에 대한 의견 아래 이것을 게시한다는 의미입니까?
— 추기경

내가 가질 수 있다고 생각합니다. 나는 순차적으로 질문을 겪은 다음 모든 답변을 (MathML 처리가 중단 된 후) 각 답변을 발견했습니다. 나는 그것이 당신의 독서를 중단 한 곳이기 때문에 당신의 의견을 떨어 뜨 렸습니다.
— DWin

1
@DWin, 예, 렌더링은 약간 펑키합니다. 이 게시물에 투표가 없거나 (위 또는 아래로) 코멘트가 올바르지 않은 것 같으므로 다른 게시물에 대한 의견을 의도했을 수도 있습니다. 건배.
— 추기경

1
@cardinal +1, 유용한 트릭. 이 질문은 꽤 좋은 참고 자료로 판명되었습니다.
— mpiktas

6

이해하는 데 도움이 될 수있는 한 가지 방법은 행렬 대수를 사용하지 않고 각 구성 요소와 관련하여 차별화 한 다음 결과를 열 벡터에 "저장"하는 것입니다. 그래서 우리는 :

∂∂β케이∑나는=1엔(와이나는−∑제이=1피엑스나는제이β제이)2=0

이제 각 베타마다 하나씩 의 방정식이 있습니다. 이것은 체인 규칙의 간단한 적용입니다 :피

∑나는=1엔2(와이나는−∑제이=1피엑스나는제이β제이)1(∂∂β케이[와이나는−∑제이=1피엑스나는제이β제이])=0
−2∑나는=1엔엑스나는케이(와이나는−∑제이=1피엑스나는제이β제이)=0

이제 대괄호 안에 합계를 그러면 다음과 같은 이점이 있습니다.∑제이=1피엑스나는제이β제이=엑스나는티β

∑나는=1엔엑스나는케이와이나는−∑나는=1엔엑스나는케이엑스나는티β=0

이제이 방정식들 중 가 있고 열 벡터에 "스택"할 것입니다. 이 의존하는 유일한 용어 인 방법에 주목 하십시오.이를 벡터 쌓을 수 있습니다 .피엑스나는케이케이엑스나는

∑나는=1엔엑스나는와이나는=∑나는=1엔엑스나는엑스나는티β

이제 우리는 베타를 합계 밖으로 가져갈 수 있지만 (합계의 RHS를 유지해야 함) invervse를 취하십시오.

(∑나는=1엔엑스나는엑스나는티)−1∑나는=1엔엑스나는와이나는=β
당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.