iid 데이터의 역설 (적어도 나를 위해)

통계에 대한 나의 총체적인 (그리고 부족한) 지식이 허용되는 한, 이 iid 랜덤 변수 , 용어가 암시하는 것처럼 그것들은 독립적이고 동일하게 분포된다는 것을 이해했습니다. $X_1, X_2,..., X_n$

내 관심사는 iid 샘플의 이전 속성입니다.

p (X_{n} | X_{i_{1}}, X_{i_{2}}, . . ., X_{i_{k}}) = p (X_{n}),

$p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}),$

별개의 's st . $i_j$ $1 \leq i_j < n$

그러나 동일한 분포의 독립적 인 표본의 집합이 분포 구조에 대한 정보를 제공 하고 위의 경우 에 대한 정보를 제공한다는 것을 알고 있으므로 실제로는 다음과 . $X_n$

p (X_{n} | X_{i_{1}}, X_{i_{2}}, . . ., X_{i_{k}}) = p (X_{n}) .

$p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}).$

나는 내가 오류의 피해자라는 것을 알고 있지만 그 이유를 모른다. 이것 좀 도와주세요.

sampling conditional-probability independence

— 큐 피터
소스

베이 즈 규칙을 알고 있습니까? 고전을 들었다. 베이지안 통계 대? 우선?

— Matthew Gunn

나는 당신의 질문 끝에 논쟁을 따르지 않습니다. 좀 더 명확하게 할 수 있습니까?

— Glen_b-복지 주 모니카

@Glen_b 정확히 따르지 않는 것은 무엇입니까? 그 말의 의미는 무엇입니까? 나는 다른 논리로 평등과 불평등이 모두 역설 인 그럴듯 해 보인다고 말하려고한다.

— 큐 피터

여기에는 역설이 없으며 적절한 정의를 적용하지 못한 것입니다. 사용하는 단어의 의미를 무시하면 역설이 있다고 주장 할 수 없습니다! 이 경우 독립 정의 와 확률 정의를 비교 하면 오류가 드러납니다.

— whuber

@ whuber, 나는 당신이 내 질문의 제목에 명시적인 "(적어도 나를 위해)"라는 사실과 내 주장의 "오류"를 찾는 데 도움을 요청한다는 사실을 발견했다고 가정합니다. 실제로는 역설이 아닙니다.

— 큐 피터

답변:

나는 당신이 분포 의 추정 된 모형 을 랜덤 변수 와 혼동한다고 생각합니다 . 다음과 같이의가 독립 가정을 다시 보자 말한다하는 경우 의 기본 분포를 알고 있으며 (예를 들어 매개 변수 세트 식별 할 수 있음 ) 분포에서 샘플이 몇 개 관찰 된 경우 분포가 변경되지 않습니다.

\begin{matrix} (1) & P (X_{n} | θ, X_{i_{1}}, X_{i_{2}}, \dots, X_{i_{k}}) = P (X_{n} | θ) \end{matrix}

$P(X_n | \theta, X_{i_1}, X_{i_2}, \dots, X_{i_k}) = P(X_n | \theta) \tag{1}$ $X_n$

θ

$\theta$

예를 들어, 을 코인 의 번째 던지기의 결과를 나타내는 랜덤 변수로 생각 하십시오 . 동전에 대한 머리 와 꼬리 의 확률을 알면 (btw, 로 인코딩 된 것으로 가정 ) 의 분포를 알기에 충분합니다 . 특히, 이전 토스의 결과 는 번째 토스에 대한 헤드 또는 테일 의 확률을 변경하지 않으며 , 보유한다. $X_n$ $n$ $\theta$ $X_n$ $n$ $(1)$

그러나 입니다. $P(\theta | X_n) \neq P(\theta | X_{i_1}, X_{i_2}, \dots, X_{i_k})$

— 소비
소스

대단히 감사합니다. 요점까지. 내가 얼마 전에 그런 답을 추측했다는 것은 매우 재밌다. 그러나 나는 그것을 잊어 버렸다 .... 내가 잘못을 이해하는 한, 무작위 변수의 분포를 매개 변수화 할 수있는 "모델"을 암시 적으로 가정하는 것과 관련이있다. 내가 알았어?

— 큐 피터

@Cupitor : 유용해서 다행입니다. 예, 모델에 따라 독립적 인 랜덤 변수는 서로 영향을 미치지 않습니다. 그러나 (독립 가정에 관계없이) 기본 (진정) 분포에서 더 많은 표본을 볼 때 주어진 분포가 일련의 결과 변경을 생성했을 가능성이 있습니다.

— Sobi

베이지안 접근 방식을 취하고 분포를 임의의 변수 / 벡터로 설명하는 매개 변수를 처리하는 경우 관측 값은 독립적 이지 않지만 대한 지식이 주어지면 조건부 독립적 입니다. 따라서 가 유지됩니다. $X$ $\theta$ $P(X_n \mid X_{n-1}, \ldots X_1, \theta) = P(X_n \mid \theta)$

고전적인 통계적 접근에서 는 임의 변수 가 아닙니다. 계산은 가 무엇인지 아는 것처럼 수행됩니다 . 어떤 의미에서, 당신은 항상 조절하고 있습니다 (값을 모르더라도). $\theta$ $\theta$ $\theta$

"... 배포 구조에 대한 정보를 제공하고 대한 결과를 썼을 때"는 암묵적으로 베이지안 접근 방식을 채택했지만 정확하게 수행하지는 않았습니다. 자주 사용하는 IID 샘플의 속성을 작성하고 있지만 Bayesian 설정의 해당 명령문에는 조정이 포함됩니다 . $X_n$ $\theta$

베이지안 대 고전 통계 학자

하자 일방적 인 불공정 동전 던지기의 결과. 우리는 동전이 나올 확률을 모른다. $x_i$

고전 통계 학자에게 자주 사용되는 는 일부 매개 변수 입니다. 이를 라고합시다 . 가 숫자 1/3과 같은 스칼라 라는 것을 관찰하십시오 . 우리는 숫자가 무엇인지 모르지만 숫자입니다! 무작위 가 아닙니다 ! $P(x_i = H)$ $\theta$ $\theta$
베이지안 통계 학자에게, 자체는 무작위 변수입니다! 이것은 매우 다릅니다! $\theta$

여기서 핵심 아이디어는 베이지안 통계학자가 고전 통계학자가 그렇지 않은 상황으로 확률 도구를 확장한다는 것입니다 . 잦은 주의자에게 는 하나의 가능한 값만 가지기 때문에 무작위 변수가 아닙니다 ! 여러 결과가 불가능합니다! 그러나 베이지안의 상상에서는 여러 값의 가 가능하며, 베이지안은 확률의 도구를 사용하여 자신의 마음에 그 불확실성을 모델링하려고합니다. $\theta$ $\theta$

이것은 어디로 가고 있습니까?

우리가 동전을 번 뒤집 었다고 가정 해 봅시다 . 한 플립은 다른 플립의 결과에 영향을 미치지 않습니다. 고전 통계학자는이 독립 플립을 호출 할 것이다. 우리는 : 여기서 는 알려지지 않은 매개 변수. (우리는 그것이 무엇인지 모르지만 임의의 변수는 아닙니다 ! 그것은 숫자입니다.) $n$

P (x_{n} = H ∣ x_{n - 1}, x_{n - 2}, \dots, x_{1}) = P (x_{n} = H) = θ

$P(x_n=H \mid x_{n-1}, x_{n-2}, \ldots,x_{1}) = P(x_n=H) = \theta$

θ

$\theta$

주관적 확률에 깊은 베이지안은 중요한 것은 그녀의 관점에서 볼 확률이라고 말할 것입니다 ! . 그녀가 10 개의 머리를 연속으로 볼 경우, 11 개의 머리는 연속으로 10 개의 머리가 동전을 머리쪽으로 편향 시킨다고 믿기 때문에 더 가능성이 높습니다.

P (x_{11} = H ∣ x_{10} = H, x_{9} = H, \dots, x_{1} = H) > P (x_{1} = H)

$P(x_{11} = H \mid x_{10}=H, x_{9}=H, \ldots,x_{1}=H) > P(x_1 = H)$

여기서 무슨 일이 있었습니까? 무엇이 다른가요?! 잠재 임의 변수 에 대한 신념 업데이트 ! 경우 확률 변수로 취급되면, 플립은 더 이상 독립적이지. 그러나 뒤집기 는 값이 주어지면 조건부 독립적 입니다. $\theta$ $\theta$ $\theta$

P (x_{11} = H ∣ x_{10} = H, x_{9} = H, \dots, x_{1} = H, θ) = P (x_{1} = H ∣ θ) = θ

$P(x_{11} = H \mid x_{10}=H, x_{9}=H, \ldots,x_{1}=H, \theta) = P(x_1 = H \mid \theta) = \theta$

어떤 의미 에서 에 대한 컨디셔닝 은 베이지안과 고전 통계학자가 문제를 모델링하는 방법을 연결합니다. 또는 다른 방법으로, 베이 시언이 조건이 있는지 잦은 주의자와 베이지안 통계학자가 동의 할 것 입니다. $\theta$ $\theta$

추가 메모

나는 짧은 소개를하기 위해 최선을 다했지만, 내가 한 일은 기껏해야 아주 피상적이며 개념은 다소 깊은 의미입니다. Savage의 1954 년 저서 인 Statistics of Statistics 는 확률의 철학에 뛰어 들기를 원한다면 고전입니다. 베이지안 대 잦은 사람을위한 구글과 많은 것들이 등장 할 것입니다.

IID 추첨에 대해 생각하는 또 다른 방법은 Finetti의 정리 와 교환 성의 개념입니다 . 베이지안 프레임 워크에서, 교환 가능성은 잠재적 인 임의의 변수 (이 경우 코인의 일 방성)에 대한 조건부 독립성과 같습니다.

— 매튜 건
소스

본질적으로, 베이지안 접근법은 "iid random 변수"라는 문장을 IID 여야 한다는 공리가 아니라 그 자체에 대한 매우 강력한 사전 가정으로 간주합니다. 그리고 더 강력한 증거조차도 주어진 것이 아닐 가능성이 큽니다. 가정이 사실이면,이 "주어진 조건에서의 불신"이 결과에 반영 될 것입니다.

— Peteris

철저히 답변 해 주셔서 감사합니다. 나는 그것을 찬성했지만, Sobi의 대답은 문제가 어디에 있는지, 즉 모델 구조를 암시 적으로 가정한다고 가정하거나 (또는 이것이 내가 이해하는 한)

— 명백히

@Matthew Gunn : 깔끔하고 철저하며 잘 설명되어 있습니다! 나는 당신의 대답으로부터 몇 가지를 배웠습니다. 감사합니다!

— Sobi