"정보가없는 사전"이란 무엇입니까? 진정으로 정보가없는 것을 가질 수 있습니까?

73

이 질문 에 대한 의견에서 영감을 얻었습니다 .

우리는 이전에 "정보가없는"것을 무엇으로 간주하며, 정보가없는 것으로 추정되는 정보에는 어떤 정보가 여전히 포함되어 있습니까?

나는 일반적으로 베이지안 분석에서 멋진 부분을 빌리려고하는 잦은 유형의 분석 인 분석에서 이전을 본다 ( '뜨거운 일을하기 위해 모든 방법을 쉽게 해석 할 수있다'). 주장 효과 측정의 범위도 0을 중심으로하지만에 걸쳐 균일 한 분포 이전에 모양이 - 그냥 평평하게 발생합니다.

사용하기 전에 더 나은 정보가 있습니까?

bayesian prior

— 포미 테
소스

2

아마도 당신은 이른바 최대 엔트로피의 원리 에 대해 살펴볼 것 입니다. 전체 답변으로 확장하고 싶지는 않습니다. Wikipedia 기사의 품질이 좋아 보입니다. 나는 일부 기고자들이 나보다 훨씬 더 확장 할 것이라고 확신합니다.

— Elvis

93

[경고 : ISBA 의 객관적인 베이 즈 섹션의 카드를 들고있는 회원으로서 , 나의 견해는 모든 베이지안 통계학 자를 대표하지는 않습니다!

요약하면, "정말 정보가 없음"과 같은 것은 없습니다.

실제로, "정보가없는"선행은 슬프게도 잘못된 이름입니다. 모든 사전 배포에는 일정량의 정보와 유사한 사양이 포함되어 있습니다. 균일 한 (또는 특히) 균일 한 이전. 실제로, 균일 한 선행은 문제의 주어진 하나의 파라미터 화에 대해서만 평탄하다. 하나가 다른 매개 변수화로 바뀐 경우 (한정된 변수라도) Jacobian 변수의 변화는 그림과 밀도에 나타나고 이전은 더 이상 평평하지 않습니다.

엘비스가 지적한 바와 같이, 최대 엔트로피 는 소위 "정보가없는"이전을 선택하도록 옹호되는 한 가지 접근법입니다. 그러나 (a) 제약 조건 를 지정하려면 이전 분포 일부 순간 에 대한 충분한 정보 가 필요합니다. 이는 MaxEnt 이전의 및 (b) 참조 측정의 예비 선택 [연속 설정], 토론을 초기 단계로 되 돌리는 선택! (또한, 구속 조건의 매개 변수화 (즉, 의 선택) $h(\theta)$ $\pi(\cdot)$

\int_{Θ} h (θ) d π (θ) = h_{0}

$\int_{\Theta} h(\theta)\,\text{d}\pi(\theta) = \mathfrak{h}_0$

π^{*} (θ) \propto \exp {λ^{T} h (θ)}

$\pi^*(\theta)\propto \exp\{ \lambda^\text{T}h(\theta) \}$

d μ (θ)

$\text{d}\mu(\theta)$

h

$h$ )는 결과 MaxEnt 의 모양에 영향을줍니다 .)

호세 베르나르도 (José Bernardo) 는 이전과 후부 사이의 쿨백 거리를 최대화함으로써 데이터에 의해 제공되는 정보를 최대화하기 위해 이전을 선택하는 원래의 사전 우선 이론을 만들었습니다. 방해 요소가없는 가장 간단한 경우에는 솔루션이 Jeffreys의 솔루션입니다. 보다 복잡한 문제에서, (a) 관심있는 매개 변수 (또는 관심있는 순서의 순위)를 선택해야합니다. (b) 이전의 계산은 상당히 복잡하며 부적절한 문제를 피하기 위해 일련의 임베디드 소형 세트가 필요합니다. (예를 들어 The Bayesian Choice 를 참조하십시오.)

흥미로운 비틀림에서 베이지안 관점 밖의 일부 연구자 들은 명확한 사전 구조없이이 매개 변수 공간에 대한 지배적 인 측정없이 주파수 기반 프로 시저의 반전으로 구성된 매개 변수 공간의 확률 분포 인 신뢰 분포 라고하는 절차를 개발해 왔습니다 . 그들은 명확하게 정의 된 이전의 부재가 플러스라고 주장하지만, 결과는 주파수 기반 절차의 초기화 선택에 따라 결정된다

요컨대, "정보"에 대한 "최고"(또는 "더 나은") 선택은 없다. 그리고 이것이 베이지안 분석의 본질이 이전 분포의 선택이 중요하다는 것을 암시하기 때문에 이것이 어떻게되어야하는지 생각합니다. 그리고 이전의 비교는 없다 : 하나는 다른 것보다 "더 좋을"수 없다. (적어도 데이터를 관찰하기 전에 : 일단 데이터가 관찰되면 이전의 비교가 모델 선택이됩니다.) José Bernardo, Jim Berger, Dongchu Sun 및 기타 많은 "객관적인"베이지안의 결론은 대략적으로 동일한 참조 이전이 있다는 것입니다. 자신의 이전 정보에 대해 확신이 없거나 벤치 마크 베이지안 추론을 구할 때 사용하며, 그 중 일부는 정보 이론 주장에 의해 부분적으로 뒷받침됩니다.

— 시안
소스

14

(+1) 당신의 책? 오 젠장 나는 그렇게 : 당신을 위해 387 개 질문이

— 엘비스

4

(+1) 객관적으로 (이하!), 간단한 대답.

— 추기경

2

+1 문제에 대해 잘 알고 잘 알고있는 개요에 감사합니다.

— whuber

2

탁월한 답변. 감사합니다. 그리고 또 다른 책은 위시리스트에 있습니다.

— Fomite

1

거의 불공평합니다. 결국, 그는 Christian Robert입니다! 농담이야 좋은 대답입니다. 그리고 @ Xi'an이 블로그의 게시물, 특히 "정보가없는"이전 주제에서 매개 변수화가 어떻게 중요한지에 대한 글을 통해 확장 할 수 있다면 좋겠습니다.

— Manoel Galdino

16

공식적인 비 정보 적 선행의 매력적인 속성은 "자주주의 매칭 속성"입니다. 이는 사후 95 %의 신뢰 구간이 잦은 의미에서 (적어도 대략) 95 %의 신뢰 구간임을 의미합니다. 이 정보는이 비 정보 적 선행의 자금이 잦은 매칭을 잘하는 자산의 달성을 지향하지는 않지만 Bernardo의 참조를 보유하고 있습니다. 큰 차이를 갖는 분포는 잦은 일치하는 부동산이 보유한다는 보장이 없습니다. 아마도 Bernardo의 이전 참조는 정보가없는 이전의 "최고의"선택으로 간주되지 않았지만 가장 성공적인 것으로 간주 될 수 있습니다.

— 스테판 로랑
소스

9

제프리스 분포는 불일치 고통 다음 제프리스의 전과 이상의 변수 이상 확률 변수의 이전 제프리스의 경우하지 않다 부적절 : 계수 의 질량은 over 입니다. $(-\infty,\infty)$ $(0,\infty)$ $p$ $\text{d}p/\sqrt{p(1-p)}$ $\pi$ $(0,1)$

Renyi는 정보가없는 분포 가 부적절한 적분과 연관 되어야 함 을 보여주었습니다 . 이 어려움을 피하고 변수 변경에 따라 변하지 않는 Lhoste의 분포 를 참조하십시오 (예 : 의 경우 측정 값은 ). $p$ $\text{d}p/p(1-p)$

먼저 번역이 좋습니다!

E. LHOSTE의 경우 : "Le calcul des probabilités appliqué à l' artillerie", Revue d' artillerie, tome 91, mai à août 1923

A. RENYI의 경우 : "새로운 공리 확률 확률 이론"Acta Mathematica, Académie des Sciences hongroises, tome VI, fasc.3-4, 1955

M. DUMAS : "Lois de probabilité a priori de Lhoste", Sciences et techniques de l' armement, 56, 4ème fascicule, 1982, pp 687-715

— 헤이 만
소스

3

Google 번역과 같은 자동 번역 서비스를 통해 제대로 수행되지 않더라도 영어로 다시 작성할 수 있습니까? 프랑스어와 영어에 능통 한 다른 사용자가 복사하여 편집 할 수 있습니다.

— Silverfish

3

내가 기억하는 한, Lhoste의 불변 결과 는 각각 및 매개 변수에 대한 변환 및 로 제한 됩니다. 및 에서 로의 다른 변환은 다른 이전 결과를 초래합니다.

\log σ

$\log\sigma$

\log p / (1 - p)

$\log p/(1-p)$

(0, \infty)

$(0,\infty)$

(0, 1)

$(0,1)$

(0, \infty)

$(0,\infty)$

(0, 1)

$(0,1)$

R

$\mathbb{R}$

— 시안

2

1990 년대 초 Maurice Dumas와의 짧은 서신에서 나는 그가 aux Comptes-Rendus de l' Académie des Sciences를 썼는데, 여기서 그는 및 변환을 사용하여 " 불변 "이전.

\log ()

$\log()$

logit ()

$\text{logit}()$

— 시안

3

나는 정보가 없다는 의미에서 "정보가없는"단일의 선행은 없다는 것을 지적하면서 Xi'an 의 탁월한 답변에 동의한다 . 이 주제를 확장하기 위해 한 가지 대안이 부정확 한 확률 프레임 워크 내에서 베이지안 분석을 수행하는 것임을 지적하고 싶었습니다 (예 : Walley 1991 , Walley 2000 참조 ). 이 프레임 워크 내에서 사전 신념은 일련의 확률 분포로 표현됩니다., 이는 대응하는 후방 분포 세트로 이어집니다. 그다지 도움이되지는 않을 것 같지만 실제로는 놀랍습니다. 매우 광범위한 사전 분포 세트 (일부 모멘트가 가능한 모든 값을 초과 할 수있는 경우)에도 여전히 와 같이 단일 후부로 수렴을 얻습니다 . $n \rightarrow \infty$

이 분석 프레임 워크는 Walley에 의해 고유 한 확률 론적 분석 형식으로 축약되었지만 기본적으로 일련의 사전을 사용하는 강력한 베이지안 분석과 동일하며, 그에 상응하는 후방 집합을 산출합니다. 많은 모델에서 일부 모멘트 (예 : 사전 평균)가 가능한 전체 값 범위에서 변할 수 있도록 "정보가없는"사전 세트를 설정할 수 있으며, 그럼에도 불구하고 사후 모멘트가 제한되는 중요한 사후 결과를 생성합니다 더 단단히. 이 형태의 분석은 적어도 허용 가능한 전체 범위에 걸쳐 변할 수있는 순간에 대해 "정보가없는"이라고 더 나은 주장을합니다.

간단한 예-Bernoulli 모델 : 데이터 여기서 는 알려지지 않은 매개 변수입니다. 일반적으로 베타 밀도를 이전으로 사용합니다 (제프리의 이전 및 참조 이전의 형식 모두). 사전 평균 및 다른 매개 변수 관점에서이 형식의 사전 밀도를 다음과 같이 지정할 수 있습니다 . $X_1,...,X_n | \theta \sim \text{IID Bern}(\theta)$ $\theta$ $\mu$ $\kappa > 1$

\begin{aligned} π_{0} (θ | μ, κ) = Beta (θ | μ, κ) = Beta (θ | α = μ (κ - 1), β = (1 - μ) (κ - 1)) . \end{aligned}

$\begin{equation} \begin{aligned} \pi_0(\theta | \mu, \kappa) = \text{Beta}(\theta | \mu, \kappa) = \text{Beta} \Big( \theta \Big| \alpha = \mu (\kappa - 1), \beta = (1-\mu) (\kappa - 1) \Big). \end{aligned} \end{equation}$

(이 양식은 이전의 순간 및 합니다.) 이제 부정확 한 모델에서 가능한 모든 예상 값에 대한 이러한 모든 사전 분포 세트 로 구성되도록 사전을 설정 하지만 평균 값 범위의 정밀도를 제어하기 위해 다른 매개 변수를 고정하십시오. 예를 들어, 일련의 우선 순위를 사용할 수 있습니다. $\mathbb{E}(\theta) = \mu$ $\mathbb{V}(\theta) = \mu(1-\mu) / \kappa$

P_{0} \equiv {Beta (μ, κ) | 0 ⩽ μ ⩽ 1} .

$\mathscr{P}_0 \equiv \Big\{ \text{Beta}(\mu, \kappa) \Big| 0 \leqslant \mu \leqslant 1 \Big\}. \quad \quad \quad \quad \quad$

데이터에서 양의 지표를 관찰한다고 가정 합니다. 그런 다음 Bernoulli- 베타 모델의 업데이트 규칙을 사용하여 해당 사후 세트는 다음과 같습니다. $s = \sum_{i=1}^n x_i$

P_{x} = {Beta (\frac{s + μ (κ - 1)}{n + κ - 1}, n + κ) | 0 ⩽ μ ⩽ 1} .

$\mathscr{P}_\mathbf{x} = \Big\{ \text{Beta}\Big( \tfrac{s + \mu(\kappa-1)}{n + \kappa -1}, n+\kappa \Big) \Big| 0 \leqslant \mu \leqslant 1 \Big\}.$

사후 기대 값의 가능한 범위는 다음과 같습니다.

\frac{s}{n + κ - 1} ⩽ E (θ | x) ⩽ \frac{s + κ - 1}{n + κ - 1} .

$\frac{s}{n + \kappa-1} \leqslant \mathbb{E}(\theta | \mathbb{x}) \leqslant \frac{s + \kappa-1}{n + \kappa-1}.$

여기서 중요한 것은 매개 변수의 예상 값 (사전 예상은 모든 가능한 값에 대해 다름)과 관련하여 "정보가없는"모델로 시작했지만 그럼에도 불구하고 관련 정보에 대한 사후 추론으로 끝납니다. 매개 변수의 사후 기대치까지 (이제 더 좁은 범위의 값에 걸쳐 있음). 마찬가지로 값이 범위의 값에 해당하는 단일 지점까지 압착 . $n \rightarrow \infty$ $\theta$

— 벤
소스

+1. 흥미 롭군 마지막 방정식에서 카파는 무엇입니까? 카파 스타 여야합니까?

— 아메바

더 간단한 모델을 제공하기 위해 변형을 제거하도록 편집했습니다 . 이제 괜찮을거야.

κ

$\kappa$

— 벤