3 차원의 다중 선형 회귀 분석이 가장 적합한 평면이거나 가장 적합한 선입니까?

우리의 교수진은 다중 선형 회귀의 수학이나 기하학적 표현에 들어 가지 않으며 약간 혼란 스럽습니다.

한편으로는 더 높은 차원에서도 여전히 다중 선형 회귀 라고 합니다. 다른 한편으로, 예를 들어 있고 및 대해 원하는 값을 꽂을 수 있다면 가능한 해결책을 얻을 수 없습니다. 라인이 아닌? $\hat{Y} = b_0 + b_1 X_1 + b_2 X_2$ $X_1$ $X_2$

일반적으로 예측 될 것이다 우리 표면없는 용 차원 초평면 독립 변수? $k$ $k$

multiple-regression high-dimensional

— 제레미 래드클리프
소스

솔루션 표면은 일반적으로 초평면이 될 것입니다. 초평면이라는 단어가 한 입 가득하고, 비행기가 짧고, 선이 훨씬 짧다는 것입니다. 수학을 계속하면 1 차원 사례가 더 이상 논의되지 않으므로

Big words for high dimensional, Small words for small dimensional

거꾸로 보이기 시작합니다.

예를 들어, I는 같은 식을 보면 , 행렬이며 , I는 이것을 벡터 호출된다 차식 . 내 인생의 이전 부분에서는, 나는 이것을 호출 할 선형 방정식의 시스템을 예약, 선형 방정식을 하나의 차원 경우에. 그러나 나는 다차원 적 사례가 어디에나있는 반면, 1 차원 적 사례는 그다지 자주 나타나지 않는 지점에 도달했습니다. $Ax = b$ $A$ $x, b$

이것은 표기법에서도 발생합니다. 누군가가 쓰는 것을 본 적이있다

\frac{\partial f}{\partial x} = 2 x

$\frac{\partial f}{\partial x} = 2x$

왼쪽의 기호는 함수의 이름이므로 공식적이고 pedantic하려면 작성해야합니다.

\frac{\partial f}{\partial x} (x) = 2 x

$\frac{\partial f}{\partial x}(x) = 2x$

다차원에서는 미분이 두 가지 인수를 취할 때 악화됩니다. 하나는 미분을 취하는 곳이고 다른 하나는 미분을 평가하는 방향입니다.

\nabla_{x} f (v)

$\nabla_{x} f (v)$

그러나 사람들은 매우 게으르고, 하나 또는 다른 주장을 포기하고 상황에 따라 이해하게합니다.

뺨에 단단히 혀를 둔 전문 수학자들은이 표기법의 남용을 부릅니다 . 내 사랑이 표기법을 남용하지 않고 자신을 표현하는 본질적으로 불가능하다있는 과목이 있습니다 미분 기하학은 점의 경우 인가. 위대한 니콜라스 부르 바키는 요점을 매우 설득력있게 표현했습니다

가능한 한 우리는 텍스트의 언어 남용에주의를 기울였으며, 수학적 텍스트가 없으면 읽을 수없는 말이 아니라 페단 트리의 위험을 초래합니다.

— 부르 바키 (1988)

당신은 내가 그것을 눈치 채지 않아도 위에서 넘어진 표기법의 남용에 대해 언급합니다!

기술적으로 df / dx를 부분 도함수로 썼기 때문에 다른 묵시적 변수가 일정하게 유지 되더라도 부분 도함수는 기술적으로 여전히 df / dx와 같이 원래 함수의 모든 변수의 함수가 아닙니다 ( x, y, ...)?

당신은 완벽하게 정확하며 이것은 내가 여기서 얻고있는 것을 좋은 (의도적이지 않은) 그림으로 보여줍니다.

나는 일상적인 일과 연구에서 드물게 진정한 한 변수 의미에서 파생물을 만난다. 나는 본질적으로 가 올바른 표기법 이라는 것을 잊었다 . 위의 내용은 하나의 변수 함수에 관한 것이었지만 사용하여 무의식적으로 신호를 보냈습니다 . $\frac{d f}{d x}$ $\partial$

"용어 수가 무한대에 가까워 질 때 합계의 한계"대신 "무한 합계"라고 말할 때 생각합니다. 내가 생각하는 방식은 개념적 차이가 분명한 한 괜찮습니다. 이 경우 (다중 회귀), 나는 우리가 처음에 무엇을 말하고 있는지 확신하지 못했습니다.

예, 그것은 그것에 대해 일관된 방법입니다. 유일한 차이점은 우리가 그것을 표현하기 위해 추가적인 (*) 표기법 및 용어 ( 및 "무한 합계")를 발명 한 일반적인 상황이 있다는 것입니다. 다른 경우에 우리는 개념을 일반화 한 다음 일반화 된 개념이 너무나 보편적이되어 일반화 된 개념에 대해 오래된 표기법 또는 용어를 재사용 합니다. $\Sigma$

게으른 사람들로서 우리는 일반적인 경우에 단어를 절약하고 싶습니다.

(*) 역사적으로 이것은 무한 합이 개발 된 방식이 아닙니다. 부분 합계 정의의 한계는 수학자들이 매우 정확하게 추론해야 할 상황에 직면하기 시작한 후유증으로 개발되었습니다.

— 매튜 드 루리
소스

나는 항상 그것에 대해 궁금해하기 때문에 부분 파생 상품의 예를 제시하는 것이 재미 있습니다 (자기 학습의 즐거움 ...). 그런데 묵시적 변수는 일정하게 유지되지만 df / dx를 부분 도함수로 썼기 때문에 기술적으로 (비 관련이없고 pedantic하지 않고 가능한 한 많이 이해하기를 원합니다) 부분 미분은 기술적으로 여전히 df / dx (x, y, ...)에서와 같이 원래 함수의 모든 변수의 함수입니까? 내 질문은 부분 미분이 여전히 모든 변수의 함수가 아니라고 생각합니다.

— jeremy radcliff

또한 모든 것을 설명해 주셔서 감사합니다. 나는 우리가 "항의 수가 무한대에 가까워 질 때 합계의 한계"대신 "무한 합계"라고 말할 때 그것을 생각합니다. 내가 생각하는 방식은 개념적 차이가 분명한 한 괜찮습니다. 이 경우 (다중 회귀), 나는 우리가 처음에 무엇을 말하고 있는지 확신하지 못했습니다. 3d에서 한 줄을 상상하려고 시도한 후 여러 독립 변수가 자유롭게 변하게되면 이해가되지 않는다는 것을 깨달았습니다.

— jeremy radcliff

+1 좋은 답변입니다. 때때로 사람들은 게으르고 많은 혼란을 일으킬 것입니다. 그렇기 때문에이 게시물에 표기법을 묻고 자했습니다. stats.stackexchange.com/questions/216286/…

— Haitao Du

@jeremyradcliff 나는 몇 가지 논평에서 편집했다.

— Matthew Drury

@MatthewDrury, 의견을 보내 주셔서 감사합니다. 내가 아는 수학의 대부분을 스스로 연구하고 주변 문화가 부족하고 수학자에게 접근 할 수 없기 때문에 나에게 매우 도움이됩니다. 스택 교환과 같은 장소는 나에게 귀중한 것입니다.

— jeremy radcliff

"선형"은이 맥락에서 생각하는 것을 의미하지는 않습니다. 좀 더 일반적입니다.

첫째, 이것은 실제로 x의 선형성에 대한 참조가 아니라 매개 변수 * ( "매개 변수의 선형")에 대한 참조입니다.

$E(Y|X) = X\beta$ $\beta$

따라서 가장 적합한 평면 (또는 일반적으로 초평면)은 여전히 "선형 회귀"입니다.

$1$ $X\beta$ $X$ $\beta$

— Glen_b-복귀 모니카
소스