일관성있는 추정기의 정의가 왜 그런가? 일관성에 대한 대체 정의는 어떻습니까?

Wikipedia에서 인용 :

통계에서, 일관된 추정기 또는 무의식적으로 일관된 추정기는 추정기 (모수 의 계산을 계산하는 규칙)- 사용 된 데이터 포인트 수가 무한정 증가함에 따라 결과 추정치가 확률로 수렴되는 특성을 가짐 . $θ^*$ $θ^*$

이 문장을 정확하게 만들려면 $\theta^*$ 를 추정하려는 실제 매개 변수의 값으로, $\hat\theta(S_n)$ 데이터의 함수로이 매개 변수를 추정하는 규칙으로하십시오. 그런 다음 추정기의 일관성 정의는 다음과 같이 표현 될 수 있습니다.

\underset{엔 \to \infty}{임} 피 아르 자형 [| \hat{θ ({에스}_{엔}}) - θ^{※} | \geq ϵ] = 0

$\lim_{n \to \infty} Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ]=0$

내 질문은 처음에는 피상적으로 보이지만 "일관성 / 일관성"이라는 단어가 추정기의 이러한 동작을 설명하는 데 사용 된 이유 는 무엇입니까?

내가 이것에 관심을 갖는 이유는, 직관적으로, 일관성이라는 단어는 다른 것을 의미하기 때문입니다. 예를 통해 그것이 무엇을 의미하는지 알려 드리겠습니다. "당신"이 지속적으로 "좋은"(일부 좋은 정의를 위해)이라고 말하면, 일관성이란 당신이 좋은 것을 증명 / 보여줄 기회가있을 때마다, 매번 당신이 좋다는 것을 실제로 증명한다는 것을 의미합니다. (또는 적어도 대부분).

견적의 일관성을 정의하기 위해 직관을 적용하겠습니다. "your"를 계산하는 함수 하고 "good"은 실제 추정치 에서 어느 정도 떨어져 있는지를 의미합니다 ( 규범의 의미 에서 좋은 이유는 아닙니다). 그러면 일관성에 대한 더 나은 정의는 다음과 같습니다. $\hat{\theta}$ $\theta^*$ $l_1$

\forall 엔, \forall {에스}_{엔}, 피 아르 자형 [| \hat{θ ({에스}_{엔}}) - θ^{※} | \geq ϵ] < δ

$\forall n,\forall S_n, Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ] < \delta$

일관성에 대한 덜 유용한 정의 일지라도 일관성을 정의하는 방식으로 나에게 더 의미가 있습니다. 훈련 / 샘플 세트의 경우 추정기 던지기 때문에 좋은 일, 즉 나는 지속적으로 잘 할 것입니다. 나는 모든 n (아마도 불가능한)에 대해 약간 비현실적이라는 것을 알고 있지만 다음과 같이 말 함으로써이 정의를 해결할 수 있습니다. $\hat\theta$

\exists n_{0}, \forall n \geq n_{0}, \forall S_{n}, P r [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] < δ

$\exists n_0, \forall n \geq n_0,\forall S_n, Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ] < \delta$

즉, 충분히 큰 n의 경우 추정기는 실제 에서 (즉 , "진실"에서 넘지 않아야 함)보다 나쁘지 않습니다 . 은 최소한 필요한 직관을 포착하려고합니다. 어떤 것을 배우거나 추정하기위한 몇 가지 예가 있고, 일단 그 숫자에 도달하면, 우리가 그것을 정의하려는 방식에 일관성이 있다면 견적자는 대부분의 시간을 잘 할 것입니다). $\epsilon$ $\epsilon$ $\theta^*$ $n_0$

그러나 이전의 정의는 강력합니다. 어쩌면 우리 는 크기 의 대부분의 훈련 세트에 대해 에서 멀어 질 가능성이 (즉 , 모든 대해 이것을 요구 하지는 않지만 끝났습니다) 의 분포 또는 이와 유사한 것). 따라서 우리가 가지고있는 대부분의 샘플 / 트레이닝 세트에 대해서는 매우 드물게 오류가 발생합니다. $\theta^*$ $n \geq n_0$ $S_n$ $S_n$

어쨌든, 나의 질문은, "일관성"에 대한 이러한 제안 된 정의가 실제로 일관성의 "공식적인"정의와 동일하지만 동등성이 증명하기 어렵다는 것입니다. 증거를 알고 있다면 공유하십시오! 아니면 내 직감이 완전히 벗어 났으며 일반적으로 정의 된 방식으로 정의 일관성을 선택 해야하는 더 깊은 이유가 있습니까? ( "공식적인") 일관성이 왜 그렇게 정의되어 있습니까?

어떤 종류의 동등성에 대한 후보 증거에 대한 내 생각 중 일부는 일관성 개념과 허용되는 일관성 개념 사이의 유사성이 한계의 정의. 그러나 나는 그것을 수행하는 방법을 100 % 확신하지 못했으며 시도한 경우에도 일관성에 대한 공식적인 정의는 모든 잠재적 인 훈련 / 샘플 세트에 대해 이야기하는 것을 고려하지 않는 것 같습니다. 그것들이 동등하다고 생각하기 때문에 내가 제공 한 공식적인 정의가 불완전합니까 (즉, 우리가 할 수있는 데이터 세트 또는 샘플 세트를 생성 할 수있는 모든 다른 데이터 세트에 대해 이야기하지 않는 이유)? $(\epsilon, \delta)-$

마지막 생각 중 하나는, 우리가 제공하는 모든 정의는 우리가 이야기 할 확률 분포에 대한 정확한 wrt이어야한다는 것입니다 또는 입니다. 나는 그것이 보장 된 것이라도 고정 분포로 또는 보증 세트에 가능한 모든 분포로 wrt를 보장한다면, 후보도 정확해야한다고 생각합니다. $P_x$ $P_{S_n}$

machine-learning mathematical-statistics consistency

— 찰리 파커
소스

(+1) 창의적 사고. 이것을 공유해 주셔서 감사합니다. 나는 여기에 대한 답변으로 몇 가지 생각을 제공 할 수 있다고 생각합니다.

— Alecos Papadopoulos

첫 번째 정의는 모든 추정기가 매우 정확해야하기 때문에 거의 사용되지 않습니다. 두 번째는 다중 수량 자를 사용하여 단일 논리 변수 을 제어하려고 시도하기 때문에 의미가 없습니다 .

n

$n$

— whuber

약간 수정 된 OP에 의한 두 번째 임시 진술을 고려하십시오.

\begin{matrix} (1) & \forall θ \in Θ, ϵ > 0, δ > 0, S_{n}, \exists n_{0} (θ, ϵ, δ) : \forall n \geq n_{0}, P_{n} [| \hat{θ} (S_{n}) - θ^{*} | \geq ϵ] < δ \end{matrix}

$\forall \theta\in \Theta, \epsilon>0, \delta>0, S_n, \exists n_0(\theta, \epsilon, \delta): \forall n \geq n_0,\;\\P_n\big[|{\hat \theta(S_{n}}) - \theta^*|\geq \epsilon \big] < \delta \tag{1}$

실수 의 경계를 검사하고 있습니다. $[0,1]$

{P_{n} [| \hat{θ} (S_{n}) - θ^{*} | \geq ϵ]}

$\big\{ P_n\big[|{\hat\theta(S_{n}}) - \theta^*|\geq \epsilon \big]\big\}$

색인화됩니다 . 이 순서는 등의 제한이있는 경우 , 단순히 전화 , 우리는해야합니다 $n$ $n\rightarrow \infty$ $p$

\begin{matrix} (2) & \forall θ \in Θ, ϵ > 0, δ > 0, S_{n}, \exists n_{0} (θ, ϵ, δ) : \forall n \geq n_{0}, | P_{n} [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] - p | < δ \end{matrix}

$\forall \theta\in \Theta, \epsilon>0, \delta>0, S_n,\,\exists n_0(\theta, \epsilon, \delta): \forall n \geq n_0,\;\\\Big| P_n\big[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon \big] -p\Big|< \delta \tag{2}$

따라서 가정하거나 요구하면 라는 한계 가 존재하고 0과 같다고 가정합니다 ( . $(1)$ $n\rightarrow \infty$ $p=0$

따라서 은 " 의 한계 를 가 "으로 . 정확히 현재 일관성 정의입니다 (예 : "가능한 모든 샘플"에 적용됨) $(1)$ $P_n\big[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon\big]$ $n\rightarrow \infty$ $0$

따라서 OP는 기본적으로 견적의 다른 속성이 아니라 정확히 동일한 속성에 대한 대체 표현을 제안한 것으로 보입니다.

부록 (역사 부분을 잊어 버렸습니다)

콜마 고 로프는 "확률 이론의 기초"(1933)에서 각주에서 (확률의 수렴 개념)

"... 베르누이 (Beroulli)에 의한 것으로, EESlutsky에 의해 완전히 일반적인 치료법이 도입되었습니다."

(1925 년). Slutsky의 작업은 독일어로되어 있습니다. 독일어 단어가 영어로 번역 된 방식 (또는 Bernoulli에서 사용하는 용어)에 대한 문제 일 수도 있습니다. 그러나 단어를 너무 많이 읽으려고하지 마십시오.

— 알레 코스 파파도풀로스
소스