통계의 맥락에서 직교는 무엇을 의미합니까?

60

다른 맥락에서, 직교는 "직각"또는 "수직"을 의미한다.

통계적 맥락에서 직교는 무엇을 의미합니까?

설명해 주셔서 감사합니다.

descriptive-statistics

2

질문 주셔서 감사합니다. 나는 더 일반적인 것을 요구했다 : 모든 직교성 사례에서 공통점이 무엇인가. 통계적 독립성이이 속성을 어떻게 만족시키는 지 알고 싶습니다. physics.stackexchange.com/questions/67506

— Val

5

나는 여기서 어떤 대답도 일반적으로 단어의 수학적 "선형 대수"의미를 의미한다고 언급 한 것이 놀랍다. 우리는 "변수 직교 세트"말할 때 예를 들어, 대개는 것을 의미 변수 집합과 행렬 . "직교 정상"도 사용됩니다.

X^{T} X = I

$X^{T}X=I$

X

$X$

— 확률

4

@probability "Orthogonal"은 2 차 형식 를 갖는 벡터 공간에 의미가 있습니다 . 두 벡터 와 는 경우에만 직교합니다 . "정규직 교"이란 이외에 해당 . 따라서 "직교"및 "직교 정규"는 동의어가 아니며 유한 행렬로 제한되지도 않습니다. ( 예를 들어 , 와 는 힐버트 공간의 요소 일 수있다. 예를 들어 고전 양자 역학에 사용되는 의 복소수 함수 공간 )

Q

$Q$

v

$v$

w

$w$

Q (v, w) = 0

$Q(v,w)=0$

Q (v, v) = 1 = Q (w, w)

$Q(v,v)=1=Q(w,w)$

v

$v$

w

$w$

L^{2}

$L^2$

R^{3}

$\mathbb{R}^3$

— whuber

이 링크는 직교성 및 상관 관계의 (비) 연결을 이해하는 데 도움이 될 수 있습니다. alecospapadopoulos.wordpress.com/2014/08/16/…

— RBirkelbach

다른 (그러나 정확한) 답변의 증가하는 수집은 이것이 좋은 CW 스레드임을 나타냅니다.

— whuber

-16

이는 [임의 변수 X, Y]가 서로 '독립적'임을 의미합니다. 독립적 인 랜덤 변수는 종종 서로 '직각'에있는 것으로 간주되는데, 여기서 '직각'은 둘의 내부 곱이 0 (선형 대수와 동등한 조건)임을 의미합니다.

예를 들어 XY 평면에서 X와 Y 축은 주어진 점의 x 값이 변경되면 (2,3)에서 (5,3)으로 바뀌면 y 값은 (3)과 동일하기 때문에 직교라고합니다. 그 반대. 따라서 두 변수는 '독립적'입니다.

독립성 및 직교성에 대한 Wikipedia의 항목 참조

— crazyjoe
소스

24

상관 관계와 의존성 부족의 구분이 중요하기 때문에 직교성을 독립성과 동일시하는 것은 좋은 일이 아닙니다.

— whuber

OP 나 응답자가 1 년 넘게 활동 한 적이 없기 때문에 적어도 명확한 답을 만들기 위해 이것을 편집하는 것이 좋습니다. 나는 그것을 시도했다.

— Assad Ebrahim

1

통계 내에서 이에 대한 일반적인 반례는 PCA와 ICA이며 PCA는 직교성을 강화하고 ICA는 독립성을 최대화합니다.

— jona

5

중재자에게 :이 좋은, 매우 인기있는 질문 인 것은 부끄러운 일입니다. 많은 생각이 더 강등 될 것입니다 (현재 점수 -4). OP와 응답자가 모두 1 년 넘게 활동하지 않았기 때문에 "수락 된"점검을 제거하고 질문을 "공개"로 남겨 둘 수 있습니다. 아래에 더 완전한 답변이 나와 있습니다.

— Assad Ebrahim

1

@Assad mods는 OP의 수락을 제거 할 수 없습니다. 그것이 OP의 지방입니다.

— Glen_b

33

나는 충분한 점이 없기 때문에 의견을 말할 수 없으므로 대답으로 내 마음을 말해야합니다. 용서해주십시오. 내가 아는 한, 직교성이 다음과 같이 정의되기 때문에 @crazyjoe가 선택한 답변에 동의하지 않습니다.

E [X Y^{⋆}] = 0

$E[XY^{\star}] = 0$

그래서:

대칭 pdf를 갖는 경우 , 이들은 여전히 직교 적이다. $Y=X^2$

만약 이지만 음수 값 PDF 제로 그들은 의존하지만 직교하지. $Y=X^2$

따라서 직교성이 독립성을 의미하지는 않습니다.

— 사용자 497804
소스

2

에서 별표 (별표)는 무엇입니까 ?

Y^{*}

$Y^{*}$

— mugen

2

@mugen, 아마도 complex complex를 나타냅니다.

— A. Donda

자아 (그리고 아마도 다른 사람에게) 주 - 나는 믿고 (? 실수 기능을 위해 우리는 복소 공액 ()을 멀리 할 수있는 일은) 임의 변수의 내부 제품 와 는 AS 정의, : 자신의 PDF의의 제품의 기대

E [X Y]

$E[XY]$

X

$X$

Y

$Y$

⟨ X, Y ⟩ = E [X Y]

$\langle X,Y\rangle=E[XY]$

— 안토니 Parellada

21

X와 Y가 독립적이면 직교입니다. 그러나 user497804의 영리한 예에서 지적했듯이 그 반대는 사실이 아닙니다. 정확한 정의는 다음을 참조하십시오

직교 : 복소수 랜덤 변수 및 가 을 만족하면 직교라고합니다. $C_1$ $C_2$ ${\rm cov}(C_1,C_2)=0$

(Pg 376, Geoffrey Grimmett 및 David Stirzaker의 확률 및 랜덤 프로세스)

독립 : 임의의 변수 와 는 모든 대해 인 경우에만 독립적입니다. $X$ $Y$ $F(x,y) = F_X(x)F_Y(y)$ $x,y \in \mathbb{R}$

연속 랜덤 변수의 경우 를 요구하는 것과 같습니다. $f(x,y) = f_X(x)f_Y(y)$

(99 쪽, Geoffrey Grimmett과 David Stirzaker의 확률과 랜덤 프로세스)

— 나 레쉬
소스

21

@Mien은 이미 답변을 제공했으며 @whuber가 지적한 바와 같이 직교는 상관되지 않습니다. 그러나 저는 사람들이 참고 자료를 제공하기를 정말로 바랍니다. 다음 링크는 기하학적 관점에서 상관 관계 개념을 설명하므로 유용하다고 생각할 수 있습니다.

벡터의 기하학 (p. 7 참조)
선형 독립, 직교 및 상관되지 않은 변수
벡터 공간에서 2 차원 상관 관계의 그래픽 표현 (자유롭지 않을 수 있음)

— Bernd Weiss
소스

1

두 번째 링크는 내가 알고 싶은 모든 것을 설명했습니다. 감사! :)

— Lenar Hoyt

확률 변수를 실제 값 X과 Y센터링 된 변수의 경우에만 상관 있습니다 X-E(X)및 Y-E(Y)직교한다. [ref]

— knedlsepp

1

@Bernd 처음 두 개의 링크가 작동하지 않습니다.

— 압도

@ overwhelmed 나는 이것이 두 번째 링크가 가리키는 기사 라고 생각 합니다.

— 조쉬 오브라이언

8

NIST 웹 사이트 (아래 참조)는 다음과 같이 직교를 정의합니다. "임의의 효과가 다른 요소의 효과에서 균형을 이루면 (0에서 0으로) 실험 설계가 직교합니다."

통계적 관점에서, 나는 "공동 발견되지 않음"또는 "별명 없음"을 의미하는 직교를 이해한다. 여러 요인 / 치료를 명확하게 식별 할 수 있도록하려면 실험을 설계하고 분석 할 때 중요합니다. 설계된 실험이 직교가 아닌 경우 다른 치료의 효과를 완전히 분리 할 수 없습니다. 따라서 효과를 확인하기 위해 후속 실험을 수행해야합니다. 이를 증강 설계 또는 비교 설계라고합니다.

독립은 디자인과 분석의 다른 많은 측면에서 사용 되었기 때문에 잘못된 단어 선택으로 보입니다.

NIST 참조 http://www.itl.nist.gov/div898/handbook/pri/section7/pri7.htm

— 크리스
소스

3

실험적인 디자인 컨텍스트를 소개하는 +1 여기서 "직교"라는 단어는 수학 개념과 정확히 동일하기 때문에 여기서 사용할 가치가 있습니다. 유클리드 공간의 요소로 간주되는 실험의 요인을 나타내는 (열) 벡터는 실제로 직교합니다 직교 설계에서 각도 (제로 도트 곱).

— whuber

2

'직교'라고 말하면 '비 관련'을 의미 할 가능성이 높습니다. 두 요인이 직교 인 경우 (예 : 요인 분석에서) 관련이 없으며 상관 관계는 0입니다.

— 풍채
소스

3

상관 계수는 각도의 코사인 (또는 자연스럽게 해석 가능)입니다. 0이되면 각도가 어떻게 생각하십니까? :-) 무관심은 무관심을 의미 하지 않습니다 !

— whuber

나는 당신이 틀렸다고 말하고 있지는 않지만, 상관이없고 관련이있는 것을 보여줄 수 있습니까? 혹은 그 반대로도? 차이점을 이해하지 못했습니다.

— Mien

그리고 네, 그 각도가 90 ° 일 것입니다. 직각 은 직각입니다.

— Mien

5

하자 있는 랜덤 변수 촬영 값일 동일한 확률 및하자 . 와 의 상관 관계 는 이지만 분명히 관련이 있습니다. 는 의 함수입니다 .

X

$X$

{- 1, 0, 1}

$\{-1,0,1\}$

Y = X^{2}

$Y=X^2$

X

$X$

Y

$Y$

ρ_{X, Y} = 0

$\rho_{X,Y}=0$

Y

$Y$

X

$X$

— 가정 정상

아 그래, 고마워 그러나 그 반대는 불가능합니다 (세 번째 변수 또는 이와 유사한 것이 없다면)?

— Mien

2

http://terpconnect.umd.edu/~bmomen/BIOM621/LineardepCorrOrthogonal.pdf 에 따르면 선형 독립성은 직교성 또는 비상 관성에 필요한 조건입니다. 그러나 미세한 차이점이 있습니다. 특히 직교성은 상관성이 없습니다.

— 사용자
소스

1

나는 비슷한 질문을했다. 직교성과 RV의 곱에 대한 기대 사이의 관계는 무엇인가 , 나는 여기서 그 답을 재현한다. 직교성이 선형 대수의 개념이고 두 벡터의 내적이 0이라는 것을 의미하지만이 용어는 때때로 통계에서 느슨하게 사용되며 비 상관을 의미합니다. 두 개의 랜덤 벡터가 직교 인 경우 직교성 (점-제품 0)이 집중된 랜덤 벡터의 비상 관성을 의미하기 때문에 (때때로 사람들은 직교성이 교차 모멘트가 0임을 암시하기 때문에) 중앙 집중식 대응 물은 상관 관계가 없습니다. 두 개의 랜덤 벡터 가있을 때마다 항상 평균을 중심으로 중앙 집중화하여 기대치를 0으로 만들 수 있습니다. 직교성 가정 ( $(X,Y)$ $X\cdot Y=0$ )이면 중앙 집중식 랜덤 변수의 상관 관계는

C o v (X - E [X], Y - E [Y]) = E [X \cdot Y] = E [0] = 0 ⟹ C o r r (X - E [X], Y - E [Y]) = 0

$Cov(X-E[X],Y-E[Y]) = E[X\cdot Y]= E[0]=0\implies \\Corr(X-E[X],Y-E[Y])=0$

— Diogo
소스

1

계량 경제학에서 직교성 가정은 모든 오차의 합의 예상 값이 0임을 의미합니다. 회귀 변수의 모든 변수는 현재 오차항과 직교합니다.

수학적으로 직교성 가정은 입니다. $E(x_{i}·ε_{i}) = 0$

간단히 말하면 회귀자가 오류 항에 "수직"이라는 의미입니다.

— 레오폴드 W.
소스

-2

둘 이상의 IV는 서로 관련이 없지만 (독립적이지만) DV에 영향을 미칩니다. 각각의 IV는 개별적으로 결과에 별개의 가치를 기여하는 한편, IV 또는 둘 모두는 또한 소득 예측 (DV에 대한 직교 = 비교 차 IV의 영향)에 부가적인 방식으로 기여한다. IV는 서로 상관 관계가 없으며 일반적으로 직각으로 배치됩니다 (벤 다이어그램 참조).

예 : 소득에 대한 동기 부여와 교육 기간 간의 관계.

IV = 교육 년도 IV = 동기 DV = 소득

https://onlinecourses.science.psu.edu/stat505/node/167

— 가볍게 두드리기
소스

-2

관련된 랜덤 변수는 변수가 X와 Y가 어떤 관계도 가질 수 있다고 말합니다. 선형 또는 비선형 일 수 있습니다. 두 변수가 선형으로 관련된 경우 독립성과 직교 속성은 동일합니다.

— J 수 브라 마니
소스

2

이것은 crazyjoe에 의한 실수를 영속시킨다 : 직교성은 변수가 공동으로 정규 분포되어 있지 않으면 독립성을 의미하지 않는다.

— whuber