직교, 상관 관계 및 독립성의 관계는 무엇입니까?

계획된 대비를 사용하여 일원 분산 분석에서 다른 방법을 찾을 때, 해석은 서로 관련이 없으며 제 1 종 오류가 부풀려지지 않도록 직교해야한다는 기사를 읽었습니다.

어떤 상황에서도 직교가 상관되지 않는 이유를 이해하지 못합니다. 시각적 / 직관적 인 설명을 찾을 수 없으므로이 기사 / 답변을 이해하려고했습니다.

https://www.psych.umn.edu/faculty/waller/classes/FA2010/Readings/rodgers.pdf

그러나 그들은 서로 모순됩니다. 첫 번째 변수는 두 변수가 서로 관련이 없거나 직교 인 경우 선형 적으로 독립적이지만 변수가 선형으로 독립되어 있다는 사실이 상관 관계가 없거나 직교한다는 것을 의미하지는 않습니다.

이제 두 번째 링크에는 "직교는 상관 관계가 없음"및 "X와 Y가 독립적이면 직교하지만 대화는 사실이 아닙니다"와 같은 답변이 있습니다.

두 번째 링크 상태에서 또 다른 흥미로운 의견은 두 변수 사이의 상관 계수가 이러한 변수에 해당하는 두 벡터 사이의 각도의 코사인과 동일하다는 것입니다. 이는 두 직교 벡터가 완전히 상관되지 않음을 의미합니다 (첫 번째 기사가 아닙니다) 청구).

그렇다면 독립성, 직교성 및 상관 관계 사이의 진정한 관계는 무엇입니까? 어쩌면 나는 뭔가를 놓쳤지만 그것이 무엇인지 알 수 없습니다.

correlation independence

— 칼 레바 서르
소스

이 질문의 오른쪽에 "연결됨"및 "관련"으로 표시되는 질문에 대한 답변 중 어느 것도 만족스럽지 않습니까?

— Dilip Sarwate

내가 제공하는 두 개의 링크 고체 대답하지만 상태가 다른 것을 제공하는 것, 그리고 내가 관련 질문을 볼 때, 나는 답을주고 그 사람들이 서로 동의는 거리가 멀다 볼 수 있습니다

— 칼 Levasseur

혼란 / 인식 모순은 전적으로 선형 독립과 통계적 독립의 차이로 인한 것일 수 있습니다.

— jona

나는 (ANOVA) 해석이 직교해야한다는 것이이 질문의 중요한 측면 이라고 생각 합니다 . 이것은 무작위 변수에 관한 것이 아닙니다. 또한 Xian이 가능한 중복으로 제안한 밀접한 관련 질문과 비교하여 "독립성"에 대해 추가로 강조합니다 (해당 질문에서 OP는 "독립성"을 이해 했으므로 답변에서 당연한 것으로 간주 됨). 그래서 나는 그것이 중복이 아니며 두 번째 @jona가 혼동이 "독립성"의 여러 의미로 싸여있을 수 있다고 제안합니다.

— Silverfish

또한 이것은 중복이 아니라고 생각합니다. 이 질문은 상관 관계를 나타내지 않으며 직교성과 비상 관성의 가능한 차이를 자세히 설명하지 않습니다. 또한 포스터가 지적했듯이 다른 관련 질문에 대한 모순 된 답변이 있습니다.

— A. Donda

답변:

독립성 은 통계 개념입니다. 두 개의 랜덤 변수 와 는 결합 분포가 한계 분포의 곱인 경우 통계적으로 독립적입니다. 즉 각 변수의 밀도가 인 경우 또는보다 일반적으로 여기서 각 랜덤 변수의 누적 분포 함수를 나타냅니다. $X$ $Y$

f (x, y) = f (x) f (y)

$f(x, y) = f(x) f(y)$

f

$f$

F (x, y) = F (x) F (y)

$F(x, y) = F(x) F(y)$

F

$F$

상관 관계 는 약하지만 관련 통계 개념입니다. 두 개의 랜덤 변수의 (Pearson) 상관 관계는 표준화 된 변수의 곱에 대한 기대치입니다. 즉, 경우 변수는 상관이 없습니다 . 독립적 인 두 개의 랜덤 변수는 반드시 서로 관련이 없지만 그 반대는 아닙니다.

ρ = E [\frac{X - E [X]}{\sqrt{E [(X - E [X])^{2}]}} \frac{Y - E [Y]}{\sqrt{E [(Y - E [Y])^{2}]}}] .

$\newcommand{\E}{\mathbf E} \rho = \E \left [ \frac{X - \E[X]}{\sqrt{\E[(X - \E[X])^2]}} \frac{Y - \E[Y]}{\sqrt{\E[(Y - \E[Y])^2]}} \right ].$

ρ = 0

$\rho = 0$

직교성 은 기하학에서 시작된 개념 이며 선형 대수학 및 관련 수학 분야에서 일반화 되었습니다. 선형 대수학에서, 두 벡터의 직교성 및 정의되어 내적 공간 , 즉 벡터 공간 내적으로는 조건 것과, 내적 다른 방식으로 정의 될 수 있습니다 (다른 내부 제품 공간에서 발생). 벡터가 숫자 시퀀스 형식으로 제공되면 , 일반적인 선택은 내적입니다 . $u$ $v$ $\langle u, v \rangle$

⟨ u, v ⟩ = 0.

$\langle u, v \rangle = 0.$

u = (u_{1}, u_{2}, \dots u_{n})

$u = (u_1, u_2, \ldots u_n)$

⟨ u, v ⟩ = \sum_{i = 1}^{n} u_{i} v_{i}

$\langle u, v \rangle = \sum_{i = 1}^n u_i v_i$ .

따라서 직교성은 그 자체로는 통계적 개념이 아니며, 선형 대수학 개념이 통계로 다른 번역으로 인해 혼란이 발생할 수 있습니다.

a) 공식적으로 랜덤 변수의 공간은 벡터 공간으로 간주 할 수 있습니다. 그런 다음 해당 공간에 다른 방식으로 내부 제품을 정의 할 수 있습니다. 하나 개의 공통 선택은 공분산로 정의한다 : 공분산이 0이면 두 랜덤 변수의 상관 관계가 정확히 0 이므로이 정의에 따르면 상관 관계는 직교성과 같습니다. (또 다른 가능성은 랜덤 변수의 내부 곱을 단순히 제품의 기대 값으로 정의 하는 것 입니다.)

⟨ X, Y ⟩ = c o v (X, Y) = E [(X - E [X]) (Y - E [Y])] .

$\langle X, Y \rangle = \mathrm{cov} (X, Y) = \E [ (X - \E[X]) (Y - \E[Y]) ].$

b) 통계에서 고려 하는 모든 변수 가 무작위 변수 인 것은 아닙니다 . 특히 선형 회귀 분석에서는 랜덤으로 간주되지 않지만 사전 정의 된 독립 변수가 있습니다. 독립 변수는 일반적으로 숫자의 시퀀스로 주어지며 직교성은 내적에 의해 자연스럽게 정의됩니다 (위 참조). 그런 다음 독립 변수가 직교하지 않은 회귀 모형의 통계적 결과를 조사 할 수 있습니다. 이와 관련하여 직교성은 구체적으로 통계적 정의를 갖지 않으며 임의의 변수에는 적용되지 않습니다.

Silverfish의 의견에 대한 답변에 대한 추가 : 직교성은 원래 회귀 분석과 관련이있을뿐만 아니라 대비와도 관련이 있습니다. 단순한 대비 (세트)가 대비 매트릭스로 지정된 설계 행렬, 즉 세트의 변형으로 볼 수 있기 때문입니다. 독립 변수의 새로운 독립 변수 세트로. 대비의 직교성 은 내적을 통해 정의 됩니다. 원래 회귀 분석기가 서로 직교하고 하나가 직교 대비를 적용하면, 새로운 회귀 분석기도 서로 직교합니다. 대조 세트는 주요 효과 및 상호 작용에 기초가되는 개념으로 예 분산 분해를 기술로 간주 될 수 있음이 보장하지만 ANOVA를 .

변형 a)에 따르면, 비상 관성과 직교성은 같은 것에 대해 다른 이름 일 뿐이므로, 그 의미에서 용어를 사용하지 않는 것이 가장 좋습니다. 랜덤 변수의 상관 관계에 대해 이야기하고 싶다면 다른 배경과 다른 의미를 가진 다른 단어를 사용하여 문제를 복잡하게하지 마십시오. 이것은 또한 변형 b)에 따라 사용될 직교성 (orthogonality)이라는 용어를 자유롭게하며, 특히 다중 회귀 분석에 매우 유용하다. 그리고 다른 방법으로, 상관 변수라는 용어는 임의 변수가 아니기 때문에 독립 변수에 적용하지 않아야합니다.

Rodgers et al.의 발표는 이러한 관점에 주로 부합하며, 특히 비상 관성과 구별되는 직교성을 이해하기 때문입니다. 그러나 이들은 비 랜덤 변수 (수열)에 상관이라는 용어를 적용합니다. 이것은 샘플 상관 계수 대해서만 통계적으로 의미가 있습니다. 숫자 순서가 임의 변수 의 실현 순서로 간주되지 않는 한,이 용어의 사용을 피하는 것이 좋습니다 . $r$

위의 텍스트에서 두 가지 관련 질문에 대한 답변으로 연결되는 링크가 흩어져 있으므로이 답변의 맥락에 도움이 될 것입니다.

— A. 돈다
소스

+1 여기에서 만드는 차이점은 매우 명확하고 도움이됩니다. 나는 전체 게시물을 읽는 것을 즐겼습니다.

— whuber

+1 나는 당신이 다르게 모순되는 다른 답변을 함께 짜는 방법을 좋아했습니다. 아마도 (b) 부분적으로 실험 설계 또는 분산 분석에 대해 구체적으로 언급하는 것이 좋을 것입니다 (OP의 질문에 언급 된 이후)-대답의 맥락에서 "직교성"이 흥미로운 이유는 분명하지 않습니다. 또는 실제로 독립 변수의 바람직한 특성.

— Silverfish

@ Silverfish, 당신 말이 맞아, 나는 그것을 추가하려고합니다.

— A. Donda

나는 whuber의 laudatory 의견과 다를 것을 부탁드립니다. 독립성의 정의 무서운이다는 것을 암시 랜덤 변수 보인다 및 이 동일한 여기로 나타낸다 누적 확률 분포 함수 (CDF 또는 CDF) . 그리고 와 는 와 의 다른 CDF를 나타내지 않습니다 . 는 실수 변수의 실수 함수이며, 와 는 숫자 와 에서이 함수의 값을 나타냅니다.

X

$X$

Y

$Y$

F (\cdot)

$F(\cdot)$

F (x)

$F(x)$

F (y)

$F(y)$

X

$X$

Y

$Y$

F (\cdot)

$F(\cdot)$

F (x)

$F(x)$

F (y)

$F(y)$

x

$x$

y

$y$ . 올바른 문구는

F_{X, Y} (x, y) = F_{X} (x) F_{Y} (y) for all x and y, - \infty < x, y < \infty .

$F_{X,Y}(x,y) = F_X(x)F_Y(y)~\text{for all}~ x~\text{and}~y, -\infty < x,y < \infty.$

— Dilip Sarwate

@DilipSarwate, puh-lease ...

— A. Donda

여기에 내 직관적 인 견해가 있습니다 : x와 y가 서로 관련이 없거나 직교한다는 것은 x 또는 y의 값에 대한 지식이 서로의 예측을 가능하게하지 않는다는 것을 말하는 방법입니다 .x와 y는 서로 독립적입니다-가정 모든 관계는 선형입니다.

상관 계수는 x (또는 y)에 대한 지식이 y (또는 x)를 얼마나 잘 예측할 수 있는지를 나타냅니다. 선형 관계를 가정합니다.

평면에서 X 축을 따라 벡터는 Y 축을 따라 구성 요소를 변경하지 않고도 크기를 변경할 수 있습니다 .X 및 Y 축은 직교하고 X를 따라 벡터는 Y를 따라 임의의 것에 직교합니다. 벡터의 크기 변화 X를 따르지 않으면 X와 Y 구성 요소가 모두 달라집니다. 벡터는 더 이상 Y와 직교하지 않습니다.

두 변수가 서로 관련이 없으면 직교하고 두 변수가 직교하면 서로 관련이 없습니다. 상관성과 직교성은 선형 독립성의 개념을 표현하는 동등한 대수적 및 기하학적 방식이지만 단순히 다릅니다. 유추하여, 플로팅 (기하학적)과 결정자 (대수)에 의한 두 변수에 대한 한 쌍의 선형 방정식의 해를 고려하십시오.

선형성 가정과 관련하여 x는 시간이되고 y는 사인 함수가됩니다. 한 기간 동안 x와 y는 둘 다 계산하는 일반적인 방법을 사용하여 직교 및 비 상관됩니다. 그러나 x에 대한 지식은 y를 정확하게 예측할 수있게합니다. 선형성은 상관 관계 및 직교성의 중요한 측면입니다.

질문의 일부는 아니지만 상관 관계와 비 직교성은 인과 관계와 동일하지 않습니다. x와 y는 세 번째 변수에 의존 할 수 있기 때문에 상관 될 수 있습니다. 아이스크림 소비는 여름에 증가하고 사람들은 여름에 더 자주 해변에갑니다. 두 사람은 서로 관련이 있지만 서로 "원인"이 아닙니다. 이 부분에 대한 자세한 내용은 https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation 을 참조 하십시오 .

— 제임스 R. 마테이
소스

상관 관계와 직교성은 다른 것입니다. 여기서 확인할 수 있습니다 -terpconnect.umd.edu/~bmomen/BIOM621/LineardepCorrOrthogonal.pdf

— Yurii

X와 Y가 서로 관련이없는 경우 XE [X]는 YE [Y]와 직교합니다.

그것과는 달리 독립적이라는 강한 상관 관계가없는 개념입니다. 즉, 독립적 인 것은 상관되지 않은 (비) 직교 및 (비) 상관이 동시에 발생할 수 있습니다.

저는 이번 학기 확률 TA이므로 독립성, 상관 관계, 직교성에 대한 짧은 비디오를 만듭니다.

https://youtu.be/s5lCl3aQ_A4

도움이 되길 바랍니다.

— 리난 황
소스

이것은 질문에 대답하지 않습니다.

— 마이클 R. 체 르닉

답변을 수정합니다. 도움이 되길 바랍니다 ~ @ Michael Chernick

— huang

@ linanhuang Larx의 사람들은?

— YHH