다항식의 점근 분포

10

나는 d 결과에 대한 다항 분포의 제한 분포를 찾고 있습니다. IE, 다음의 배포

lim_{n \to \infty} n^{- \frac{1}{2}} X_{n}

$\lim_{n\to \infty} n^{-\frac{1}{2}} \mathbf{X_n}$

여기서 $\mathbf{X_n}$ 밀도와 벡터 값 랜덤 변수 $f_n(\mathbf{x})$ 에 대한 $\mathbf{x}$ 되도록 $\sum_i x_i=n$ , $x_i\in \mathbb{Z}, x_i\ge 0$ 및 다른 모든 $\mathbf{x}$ 의 경우 0

f_{n} (x) = n! \prod_{i = 1}^{d} \frac{p_{i}^{x_{i}}}{x_{i}!}

$f_{n}(\mathbf{x})=n!\prod_{i=1}^d\frac{p_i^{x_i}}{x_i!}$

Larry Wasserman의 "All of Statistics"Theorem 14.6, 237 페이지 에서 한 가지 형태를 찾았 지만 분포를 제한하기 위해 Normal에 단일 공분산 행렬을 제공하므로 정규화 방법을 잘 모르겠습니다. 공분산 행렬을 전체 순위로 만들기 위해 랜덤 벡터를 (d-1) 차원 공간으로 투영 할 수 있지만 어떤 투영을 사용해야합니까?

11/5 업데이트

Ray Koopman은 단일 가우시안 문제에 대한 훌륭한 요약 을 제공합니다. 기본적으로 특이 공분산 행렬은 변수 간의 완벽한 상관 관계를 나타내며 가우스로 표현할 수 없습니다. 그러나 무작위 벡터의 값이 유효하다는 사실에 따라 조건부 밀도에 대한 가우시안 분포를 얻을 수 있습니다 ( 위의 경우 구성 요소는 $n$ 을 더합니다).

조건부 가우스의 차이점은 역수가 의사 역수로 대체되고 정규화 요소는 "모든 고유 값의 곱"대신 "0이 아닌 고유 값의 곱"을 사용한다는 것입니다. Ian Frisce는 몇 가지 세부 정보와 연결 됩니다.

고유 값을 참조하지 않고 조건부 가우스의 정규화 계수를 표현하는 방법도 있습니다, 여기에 '파생이야

asymptotics multinomial

— 야로슬라프 불라 토프
소스

이 경우 분포를 제한한다는 것은 정확히 무엇을 의미합니까?

— Robby McKilliam

즉, 당신이 Central Limit Theorem에서 얻은 것, 세부 사항을 업데이트하겠습니다

— Yaroslav Bulatov

1

당신이 말하는 것은 다항식 의 최대 우도 추정기 의 점근 분포입니다 . 또한 첫 번째 방정식은 n ^ {-1/2}가 아니라 n ^ {-1}이어야합니다.

— Simon Byrne

1

위의 표기법에서 d = 2의 경우 X_n은 n 코인이 발생한 후의 헤드 수이므로 X_n / n이 아닌 Normal에 접근하는 X_n / sqrt (n)입니다.

— Yaroslav Bulatov

1

네 말이 맞아. 나는 단지 혼란 스러웠다.

— Simon Byrne

6

공분산은 여전히 음이 아닌 확정적 이지만 ( 유효한 다변량 정규 분포도 ) 양의 명확한 것은 아닙니다 . 이것은 랜덤 벡터의 한 요소가 다른 요소의 선형 조합이라는 것을 의미합니다.

결과적으로이 분포로부터의 추첨은 항상 의 부분 공간에 놓입니다 . 결과적으로 이것은 밀도 함수를 정의 할 수 없음을 의미합니다 (분포가 부분 공간에 집중되어 있기 때문에 : 분산이 0 인 경우 일 변량 법선이 평균에 집중되는 방식을 생각하십시오). $R^d$

그러나 Robby McKilliam이 제안한대로이 경우 임의 벡터의 마지막 요소를 삭제할 수 있습니다. 이 축소 된 벡터의 공분산 행렬은 원래 행렬이며 마지막 열과 행이 삭제되어 양의 값이 정해지며 밀도를 갖습니다 (이 트릭은 다른 경우에는 작동하지만 어떤 요소를 조심해야합니까? 떨어 뜨려 두 개 이상 떨어 뜨려야 할 수도 있습니다.

— 사이먼 번
소스

약간 불만족스러운 것은 선택의 자유입니다. 유효 밀도를 얻으려면 A가 d-1 순위 (d) x (d-1) 행렬 인 Ax의 분포를 요청해야합니다. 유한 n에 대한 CLT 근사치 오차는 모든 A 선택에 대해 동등합니까? 그것은 분명하지 않습니다

— Yaroslav Bulatov

1

예, 오류는 항상 같아야합니다. 벡터의 마지막 요소는 기능적으로 다른 (d-1) 요소 (유한 샘플 및 점근 적 경우 모두)에 의존합니다.

— Simon Byrne

'마지막'요소는 의존적이지 않고 Yaroslav의 문제는 어떤 요소를 제거할지 선택하는 것을 좋아하지 않는다는 것입니다. 귀하가 제공 한 답변에 동의하지만 여기에는 조금 더 많은 생각과주의가 필요하다고 생각합니다.

— Robby McKilliam

@Yaroslav : 아마도이 단계에서 어떤 응용 프로그램을 염두에두고 있는지 생각하는 것이 좋을 것입니다.

— Robby McKilliam

1

로비-내가 생각했던 응용 프로그램은 여기 mathoverflow.net/questions/37582/… CLT에서 제안한 가우시안의 기본 적분은 이항 계수의 합에 대해 아주 좋은 근사치를 제공합니다 (작은 n의 경우 감마 표현을 직접 통합하는 것보다 낫습니다!), 그래서 나는 다항식 계수의 대략적인 합계를 얻기 위해 비슷한 것을 할 수 있는지 보았습니다. 이는 다양한 피팅 (최대 가능성과 같은)에 대한 비 점근 적 오차 범위를

— 가져와야합니다.

2

단수 공분산에는 본질적인 문제가 없습니다. 점근 분포는 단수 정규입니다. 특이 법선의 밀도를 제공하는 http://fedc.wiwi.hu-berlin.de/xplore/tutorials/mvahtmlnode34.html 을 참조 하십시오 .

— 이안 피스 케
소스

기술적으로 문제는 단일 공분산 행렬이 변수의 일부 하위 집합이 완벽하게 상관되어 있다는 의미이므로 일부 영역에서는 확률 밀도가 정확히 0이어야하지만 가우시안에서는 불가능합니다. 한 가지 해결책은 무작위 변수가 실현 가능한 영역에 있다는 사실에 따라 조건부 밀도를 보는 것입니다. 이것은 그들이 링크에서하고있는 것처럼 보입니다. "G-inverse"라는 용어를 들어 본 적이 없다면, Penrose-Moore 유사 역수라고 생각합니까?

— 야로슬라프 불라 토프

기존의 d- 차원 가우시안이 모든 지원한다는 것은 사실이지만 , 단수 가우스는 그렇지 않습니다. G-inverse는 역으로 일반화되며, Penrose-Moore 정의가 여기에서 작동한다고 믿습니다. 나는 단 하나의 공분산에 대한 CLT가 있다고 생각하지만, 단 하나의 CLT에 대한 분포의 수렴이 예상되지만 지금은 참고 자료를 찾을 수 없습니다.

ℜ^{d}

$\Re^d$

— Ian Fiske

1

Wasserman의 공분산 행렬이 특이한 것처럼 보았습니다 . 즉, 의 벡터 , 즉 길이가 으로 곱하면됩니다 . $d$ $[1,1,1,\dots,1]^\prime$ $d$

Wikipedia 는 어쨌든 동일한 공분산 행렬을 제공합니다. 우리가 이항 분포로만 제한한다면 표준 중심 한계 정리는 (적절한 스케일링 후) 이항 분포 가 이 커짐에 따라 법선으로 수렴한다고 알려줍니다 ( wikipedia 다시 참조 ). 비슷한 아이디어를 적용하면 적절하게 조정 된 점액이 다변량 정규 분포로 수렴 할 것임을 알 수 있어야합니다. 즉, 각 한계 분포는 이항 일 뿐이며 정규 분포로 수렴되며 이들 사이의 분산이 알려져 있습니다. $n$

그래서, 난의 분포 것을 당신은 발견 할 것이다 매우 확신 제로 평균과 공분산과 다변량 정상으로 수렴 여기서 공분산은 해당 다항식의 행렬이며 는 확률의 벡터입니다 .

\frac{X_{n} - n p}{\sqrt{n}}

$\frac{X_n - np}{\sqrt{n}}$

\frac{C}{n}

$\frac{C}{n}$

C

$C$

p

$p$

[p_{1}, \dots, p_{d}]

$[p_1,\dots,p_d]$

— 로비 맥킬 리엄
소스

1

그러나 문제가되는 다항식의 공분산 행렬은 특이합니다. 직접 보여

— 주셨습니다

아, 네 문제가 보인다! 요소 중 하나는 번째 요소가 다른 요소에 전적으로 의존 한다고 말합니다 . 당신의 마지막 행과 열 오프 잘라 아마도 경우 당신은 것을 얻을 것이다 정규 분포,하지만 난 그것에 대해 생각해야 할 것이다. 분명히 이것은 이미 어딘가에서 해결되었습니다!

d

$d$

C

$C$

[p_{1}, p_{2}, \dots, p_{d - 1}]

$[p_1,p_2,\dots,p_{d-1}]$

— Robby McKilliam

내가 찾은 제안 중 하나는 여전히 가우시안을 사용하는 것이지만 역수 대신 의사 결정을 사용하고 결정자가 아닌 "0이 아닌 고유 값의 곱"을 사용하는 것입니다. d = 2의 경우 이것은 올바른 밀도 형태를 나타내는 것으로 보이지만 정규화 계수는 꺼져 있습니다

— Yaroslav Bulatov

1

$|S_{-i}|=|S_{-j}|$ $i,j$ $S_{-i}$ $i$

— 즈 비용
소스

그 행렬은 여기 공분산 행렬이다, 동일하지 yaroslavvb.com/upload/multinomial-covariance-matrix.png

— 야로 슬라브 Bulatov

예, 이것은 실제로 공분산 행렬입니다. i 번째 열과 행을 삭제하면 가우시안에 대해 동일한 정규화 항이 생성됩니다. 아마도 내가 분명한 것을 놓치고 있습니까?

— jvdillon

n

$n$

p_{i} = 1 - \sum_{j \neq i} p_{j}

$p_i=1-\sum_{j\ne i}p_j$

p_{i}

$p_i$

S

$S$

BTW, 나는 당신이이 아이디어를 적용하는 것을 좋아합니다.

— jvdillon