교체없이 K 숫자의 합의 기대

각 숫자의 값이 다른 숫자가 주어지면 으로 표시되며 각 숫자를 선택할 확률은 각각 입니다. $n$ $v_1, v_2, ..., v_n$ $p_1, p_2, ..., p_n$

주어진 확률 ( 기반으로 숫자를 선택하면 해당 숫자 의 합에 대한 기대치는 무엇 입니까? 번호는 중복 번호를 포함 할 수 없도록 선택은 대체 되지 않습니다. 선택 항목이 교체되는 경우 숫자 의 합에 대한 기대 값은 와 같습니다. 여기서 $K$ $K \leq n$ $K$ $K$ $K$ $K \times E(V)$

E (V) = v_{1} \times p_{1} + v_{2} \times p_{2} + . . . + v_{n} \times p_{n} .

$E(V) = v_1 \times p_1 + v_2 \times p_2 + ... + v_n \times p_n.$

게다가, 그 $K$ 수 의 분산에 대한 기대는 어떻습니까?

빅 데이터 문제를 해결하는 CS PhD 학생이며 통계 배경이 없습니다. 나는 누군가가 대답으로 공식을 줄 수 있기를 기대합니다. 그러나 답이 수식으로 표현하기에 너무 복잡하거나 집중적 인 계산이 필요한 경우, 대략적인 대답이 전적으로 허용됩니다.

여기서 $n$ 이 상당히 크다고 가정 할 수 있으며 확률은 매우 다양합니다. 실제로 이러한 확률의 값은 일련의 집계 쿼리를 기록하는 쿼리 로그에서 가져옵니다. 요점은 쿼리에 포함 된 각 숫자의 빈도가 상당히 왜곡 될 수 있다는 것입니다. 즉, 일부는 거의 쿼리되지 않지만 일부는 매우 자주 쿼리됩니다. 확률 분포는 정규 분포, zipf 분포 또는 기타 합리적인 대안이라고 가정 할 수 있습니다.

가치 분포는 가능한 분포의 연속적인 부분 집합입니다. 즉, 특정 분포를 나타내는 히스토그램이있는 경우이 문제와 관련된 모든 숫자는 단일 버킷 내의 숫자입니다.

K 값의 관점에서, 자주 쿼리되는 요소 수보다 항상 적은 것으로 가정 할 수 있습니다.

probability

— 사이 피오 니어
소스

합계의 분산에 대한 기대치는 대체없이 달라질 수 있습니다. 대체품이 없으면 유한 모집단 보정 계수가 필요합니다. (이 직관적으로보기 위해, K = n 인 경우 합의 분산은 항상 같은 수이므로 합의 분산은 0입니다. K가 n에 가까워 질수록 합의 분산은 낮아집니다.)

— zbicyclist

이 질문은 생각보다 까다로울 수 있습니다. 경우 고려 및 . 대체로 도출 된 두 값의 예상 합계는 이며 이는 물론 한 값의 예상 합계의 두 배입니다. 그러나 교체없이 그려진 두 값의 예상 합계는 분명히 경우를 제외하고 입니다.

n = 2

$n=2$

(v_{1}, v_{2}) = (0, 1)

$(v_1,v_2)=(0,1)$

2 p_{2}

$2p_2$

v_{1} + v_{2} = 1 \neq 2 p_{2}

$v_1+v_2=1\ne 2p_2$

p_{1} = p_{2} = 1 / 2

$p_1=p_2=1/2$

— whuber

@zbicyclist 아마도 문제를 명확하게 말하지 않았을 것입니다. 나의 시나리오에서, K = N이면, 그 K 수의 분산은 0이 아닌 일반 모집단의 분산이 될 것이다.

— SciPioneer

(1) 이것은 나에게 자기 연구 질문 처럼 보이지 않습니다 : 그것은 실제로 적용된 실제 문제처럼 보입니다. (2) 은 얼마나 클 수 있습니까? 모든 부분 집합을 열거 할 수있는 경우를 제외하고는 정확한 솔루션이 불가능 해 보입니다. (3) 빠른 열거를 제외하고 이 보다 훨씬 클 수 있다면 에 대해 무엇을 말할 수 있습니까? 예를 들어, 그것들이 다를 수 있습니까 , 아니면 모두 가깝 습니까? 이것은 대략적인 답변을 찾으려고 노력할 수 있습니다.

n

$n$

n

$n$

20

$20$

p_{i}

$p_i$

1 / n

$1/n$

— whuber

편집 해 주셔서 감사합니다. 더 많은 당신에 대한 정보를 알 수 , 의 및 더 나은. 예를 들어, 경우 대체를 사용한 샘플링 공식은 근사값이되어야합니다 (값이 거의없는 경우 값을 두 번 이상 선택하기 때문에). 가장 어려운 경우는 의 넓은 범위의 값이있는 곳이라고 생각합니다. 따라서 대부분의 값을 0으로 바꿀 수는 없지만 로 식별 할 수있는 수와 .

N

$N$

K

$K$

v_{i}

$v_i$

p_{i}

$p_i$

K max (p_{i}) ≪ 1

$K\max(p_i)\ll 1$

p_{i}

$p_i$

p_{i} > 1 / K

$p_i\gt 1/K$

i

$i$

K \approx N / 2

$K\approx N/2$

— whuber

이것은 아마도 정확하지만 아마도 그다지 유용하지 않은 대답의 본성 일 것입니다. Horvitz와 Thompson (1952)은 이러한 상황을 전반적으로 다루는 결과를 제공합니다. 이러한 결과는 예상 할 수있는 조합 표현의 관점에서 제공됩니다.

표기법과 일관성을 유지하고 널리 사용되는 표기법과 더 잘 일치하도록 몇 가지 수량을 재정의하겠습니다. 하자 인구의 요소 수있을 및 샘플 크기. $N$ $n$

하자 , 의 대표 주어진 값 모집단의 요소 , 및 선택의 확률 . 주어진 크기 표본에 대해 표본의 관측 값을 합니다. $u_i$ $i=1,...,N$ $N$ $V_i$ $i=1,...,N$ $p_1,...,p_N$ $n$ $v_1,..., v_n$

바람직한 것은 샘플 총 의 평균 및 분산이다

\sum_{i = 1}^{n} v_{i} .

$\sum_{i=1}^n v_i.$

주석에서 언급했듯이 순서대로 그려진 특정 샘플 를 선택할 확률 은 여기서 그림 의 초기 확률 은 에 의해 주어지고 , 그림 의 두 번째 확률 는 모집단에서 를 제거한 조건에 . 따라서 추후의 각 단위는 다음 단위에 대해 새로운 확률 분포를 초래합니다 (따라서 각각 다른 분포를 나타 내기 때문에 다른 표시 문자 선택). $s = \{u_i, u_j, ..., u_t\}$

Pr (s) = p_{i_{1}} p_{j_{2}} \dots p_{t_{n}},

$\textrm{Pr}(s) = p_{i_1}p_{j_2}\cdots p_{t_n},$

p_{i_{1}}

$p_{i_1}$

u_{i}

$u_i$

p_{i}

$p_i$

p_{j_{2}}

$p_{j_2}$

u_{j}

$u_j$

u_{i}

$u_i$

거기 전체 모집단에서 를 포함 하는 크기 의 샘플 . 이것은 을 고려합니다샘플의 순열.

S^{(i)} = n! (\binom{N - 1}{n - 1})

$S^{(i)} = n! \binom{N-1}{n-1}$

n

$n$

u_{i}

$u_i$

n!

$n!$

하자 크기의 특정 샘플 나타내고 포함 . 그리고, 소자의 선택 확률 주어진다 합산 크기의 세트 이상이고 의 를 포함 하는 크기 의 모든 가능한 샘플 . (저는 혼란스러워 보이기 때문에 종이에서 표기법을 약간 변경했습니다.) $s_n^{(i)}$ $n$ $u_i$ $u_i$

P (u_{i}) = \sum Pr (s_{n}^{(i)}),

$P(u_i) = \sum \textrm{Pr}(s_n^{(i)}),$

S^{(i)}

$S^{(i)}$

s_{n}^{(i)}

$s_n^{(i)}$

n

$n$

u_{i}

$u_i$

마찬가지로 및 를 모두 포함하는 샘플 수로 . 그런 다음 모두 포함하는 표본의 확률을 정의 할 수 있습니다 여기서 합은 크기 가능한 모든 샘플 크기의 함유하는 것이 및 .

S^{(i j)} = n! (\binom{N - 2}{n - 2})

$S^{(ij)} = n! \binom{N-2}{n-2}$

u_{i}

$u_i$

u_{j}

$u_j$

P (u_{i} u_{j}) = \sum Pr (s_{n}^{(i j)}),

$\textrm{P}(u_i u_j) = \sum \textrm{Pr}(s_n^{(ij)}),$

S^{(i j)}

$S^{(ij)}$

s_{n}^{(i j)}

$s_n^{(ij)}$

n

$n$

u_{i}

$u_i$

u_{j}

$u_j$

그런 다음 예상 값은

E (\sum_{i = 1}^{n} v_{i}) = \sum_{i = 1}^{N} P (u_{i}) V_{i} .

$E \left( \sum_{i=1}^n v_i \right) = \sum_{i=1}^N \textrm{P}(u_i) V_i.$

분산은 논문에서 명시 적으로 도출되지 않았지만, 번째 모멘트 및 교차 제품 $q$

E (\sum_{i = 1}^{n} v_{i}^{q}) = \sum_{i = 1}^{N} P (u_{i}) V_{i}^{q}

$E \left( \sum_{i=1}^n v_i^q \right) = \sum_{i=1}^N \textrm{P}(u_i) V_i^q$

E (\sum_{i \neq j}^{n} v_{i} v_{j}) = \sum_{i \neq j} P (u_{i} u_{j}) V_{i} V_{j} .

$E \left( \sum_{i \ne j}^n v_iv_j \right) = \sum_{i \ne j} \textrm{P}(u_i u_j) V_i V_j.$

다시 말해, 이러한 계산을 수행하려면 가능한 모든 하위 집합을 거쳐야하는 것처럼 보입니다. 그러나 이것은 더 작은 값에 대해 수행 될 수 있습니다 . $n$

Horvitz, DG 및 Thompson, DJ (1952) 유한 한 우주를 대체하지 않고 샘플링을 일반화했습니다. 미국 통계 협회 저널 47 (260) : 663-685.

— jvbraun
소스