일반적으로 정보가 없거나 주관적인 사전을 사용할 때 베이지안 체계가 어떻게 해석에 더 좋습니까?

베이지안 프레임 워크는 해석에서 (자주주의에 비해) 큰 장점을 가지고 있다고 종종 주장되는데, 이는 데이터에서 주어진 매개 변수의 확률 을 대신 대신 계산하기 때문 입니다. 빈번한 틀. 여태까지는 그런대로 잘됐다.p ( x | θ $p(\theta|x)$$p(x|\theta)$

그러나 전체 방정식은 다음을 기반으로합니다.

$p(\theta|x) = {p(x|\theta) . p(\theta) \over p(x)}$

두 가지 이유로 의심스러워 보입니다.

1. 많은 논문에서 평범한 정보가없는 선행 (균일 분포)을 사용한 다음 $p(\theta|x) = p(x|\theta)$ 만 사용하므로 베이지안은 빈번한 결과와 동일한 결과를 얻습니다. 베이지안 후부와 빈번한 가능성이 같은 분포 일 때 해석? 동일한 결과를 얻습니다.

2. 유익한 선행을 사용하면 다른 결과를 얻을 수 있지만 베이지안은 주관적인 사전의 영향을 받으므로 p (\ theta | x) 전체 $p(\theta|x)$도 주관적인 색조를 갖습니다.

다시 말해, $p(\theta|x)$ 가 p (x | \ theta) 보다 해석이 더 좋다는 전체 주장은 p ( \ theta) 가 "실제" $p(x|\theta)$라는 가정을 바탕으로 합니다. 그것은 우리가 어떻게 MCMC를 실행하도록 선택하는 출발점 일뿐입니다. 그러나 그것은 현실에 대한 설명이 아닙니다 (제 생각에 정의 할 수는 없습니다).$p(\theta)$

그렇다면 베이지안이 해석에 더 좋다고 어떻게 주장 할 수 있습니까?

예를 들어 "95 % 신뢰할 수있는 구간"에 대한 베이지안 해석은 이미 게시 된 우수한 것보다 더 좁은 응답을 제공하고 해석의 이점에 초점을 맞추기 위해 실제 매개 변수 값이 간격은 95 %와 같습니다. 예를 들어, "95 % 신뢰 구간"에 대한 두 가지 일반적인 잦은 해석 중 하나는 수치 적으로 동일하더라도 장기적으로 절차를 여러 번 수행해야하는 경우 구간은 실제 값이 95 %로 수렴 할 것입니다. 전자는 직관적이며 후자는 그렇지 않습니다. "25 년 동안 태양 전지판이 20 % 미만으로 열화 될 확률은 95 %입니다"라고 말할 수없는 시간을 관리자에게 설명하고 대신 "

대체 빈도주의 해석은 "데이터가 생성되기 전에 내가 설정 한 프로 시저를 사용하여 계산할 간격이 실제 매개 변수 값 아래로 완전히 떨어질 가능성이 5 % 일 것입니다. 그러나 이제 데이터를 수집 했으므로 우리는 주관 론자가 아니고 실제 매개 변수 값 아래에 있는지 아닌지에 따라 확률이 0 또는 1이기 때문에 그러한 진술을 할 수 없습니다. " 감사 담당자와 보증 준비금 계산시 도움이됩니다. (실제로는 유용하지는 않지만이 정의가 합리적이라고 생각합니다. 또한 통계학자가 아닌 경우 직관적으로 이해하기가 쉽지 않습니다.)

잦은 해석도 직관적이지 않습니다. 베이지안 버전입니다. 따라서 베이지안 접근 방식이 보유한 "해석의 큰 이점".

$p(\theta|x)$$p(x|\theta)$$p(x|\theta)$$p(\theta|x)$

유익한 선행은 반드시 주관적인 것은 아니며, 예를 들어, 일부 물리적 시스템에 대한 사전 지식이 측정 단위와 독립적이어야한다고 주장하는 주관적 지식을 고려하지 않을 것입니다. 그리고 "최소한 유익한"이전.

주관적 지식을 무시하는 것의 반대 측면은 전문가 지식을 무시하고 있기 때문에 시스템이 차선책 일 수 있다는 것입니다. 따라서 주관성이 반드시 나쁜 것은 아닙니다. 예를 들어, 종종 동기 부여 예제로 사용되는 일반적인 "코인 편향 추론"문제에서, 데이터가 들어 오기 전에 균일하게 학습하는 것이 상대적으로 느리게 진행될 것입니다. 그러나 모든 편향이 똑같이 합리적인 가정일까요? 아니요, 약간 편향된 동전 또는 완전히 편향된 동전 (두 개의 머리 또는 두 개의 끈)을 쉽게 만들 수 있으므로, 주관적 사전을 통해 분석에 해당 가정을 구축하면 데이터를 식별하기 위해 데이터가 더 적게 필요합니다. 편견은 실제로입니다.

빈번한 분석에는 종종 주관적인 요소가 포함됩니다 (예 : p- 값이 0.05 미만인 경우 귀무 가설을 기각하기로 한 결정에는 논리적 강박 관념이 없으며 유용한 것으로 입증 된 전통 일뿐입니다). 베이지안 접근법의 장점은 주관성이 암시 적으로 남기지 않고 계산에서 명시 적이라는 것입니다.

하루가 끝나면 "코스 말"의 문제입니다. 도구 상자에 두 가지 도구 세트가 모두 있으며 해당 작업에 가장 적합한 도구를 사용할 수 있도록 준비해야합니다.

$\gg$

베이지안 프레임 워크는 올바른 분포 가정을 아는 관점에서 "크리스탈 볼"에 의존하지 않기 때문에 잦은 주의자보다 큰 이점을 가지고 있습니다. 베이지안 방법은 보유한 정보를 사용하고 해당 정보를 확률 분포로 인코딩하는 방법을 알고 있어야합니다.

베이지안 방법을 사용하는 것은 기본적으로 확률 이론을 최대한 활용합니다. 베이 즈 정리는 확률 이론의 고전적 곱셈 규칙을 다시 언급 한 것에 지나지 않습니다.

$p(x|I)\neq 0$$I$

이제 베이 즈 정리가 의심 스럽다고 생각되면 논리적으로 제품 규칙도 의심된다고 생각해야합니다. 여기 에서 Cox의 정리와 유사한 곱셈 규칙을 도출 하는 연역적 주장을 찾을 수 있습니다 . 필요한 가정의보다 명확한 목록은 여기 에서 찾을 수 있습니다 .

내가 아는 한, 잦은 추론은 논리적 프레임 워크 내의 일련의 기초에 기반하지 않습니다. 그것은 Kolmogorov 확률의 공리를 사용하기 때문에 확률 이론과 통계적 추론 사이에는 연관성이없는 것으로 보인다. 잦은 추론에 대한 공리가 없어야 할 절차가 있습니다. 원칙과 방법 (최대 가능성, 신뢰 구간, p- 값 등)이 있으며 잘 작동하지만 특정 문제에 대해 격리되고 전문화되는 경향이 있습니다. 나는 빈번한 방법들이 적어도 엄격한 논리적 인 틀에서 볼 때 그들의 기초에서 모호하게 남는 것이 가장 좋다고 생각한다.

$1$$\theta$

$2$

균일 한 사전을 사용하는 것은 종종 가능성이 이전에 비해 예리 할 때 만드는 편리한 근사치입니다. 때로는 사전을 통해 올바르게 설정하는 노력이 필요하지 않습니다. 마찬가지로 베이지안 통계를 MCMC와 혼동하는 실수를 저 지르지 마십시오. MCMC는 Guassian Quadratre와 같은 통합 알고리즘이며 Laplace 근사와 유사한 클래스입니다. 알고리즘의 출력을 재사용하여 모든 적분 (후방 평균과 분산이 적분)을 수행 할 수 있고 큰 표본이 ​​필요하지 않기 때문에 Laplace보다 좀 더 일반적이기 때문에 쿼드 러트보다 조금 더 유용합니다. 후부의 피크가 둥글다 (라플라스는 빠르다).

필자는 일반적으로 "지시적인"유형의 예 또는 특정 하이퍼 파라미터에 대해 알려진 것이 전혀없는 경우에 균일 한 사전을 보았습니다. 일반적으로 솔루션이 무엇인지에 대한 정보는 거의 없지만 좋은 솔루션이 어떻게 보이는지 수학적으로 인코딩하는 정보가없는 사전 지식이 있습니다. 예를 들어, 일반적으로 가우스 사전 ( 본다$\mu=0$)는 회귀 계수 위에 배치하고 모든 것이 동일하다는 지식을 인코딩하여 계수의 크기가 더 작은 솔루션을 선호합니다. 이것은 목적 함수를 최대화하지만 문제의 특정 상황에서는 의미가없는 솔루션을 찾아서 데이터 세트에 과적 합을 피하기위한 것입니다. 어떤 의미에서는 통계 모델에 특정 도메인에 대한 "단서"를 제공하는 방법을 제공합니다.

그러나 이것은 내 의견으로는 베이지안 방법론의 가장 중요한 측면이 아닙니다. 베이지안 방법은 데이터가 어떻게 존재하게되었는지에 대한 완전한 "이야기"를 제공한다는 점에서 생성 적입니다. 따라서 이들은 단순히 패턴을 찾는 사람이 아니라 현재 상황의 전체 현실을 고려할 수 있습니다. 예를 들어, 텍스트 문서가 어떻게 만들어 지는지에 대한 전체 생성 스토리를 제공하는 LDA (잠재적 인 Dirichlet 할당)를 고려하십시오.

1. 특정 주제가 동시에 발생할 가능성에 따라 주제를 혼합하여 선택합니다. 과
2. 선택한 주제를 기반으로 어휘에서 단어 세트를 선택하십시오.

따라서이 모델은 도메인의 개체 (여기서는 텍스트 문서)와 개체의 생성 방식에 대한 매우 구체적인 이해를 바탕으로 적합합니다. 따라서, 우리가 얻는 정보는 문제 영역 (주제에 주어진 단어의 가능성, 함께 언급 된 주제의 가능성, 주제를 포함하는 문서의 가능성 및 범위 등)에 맞게 조정됩니다. 베이 즈 정리가이 작업을 수행해야한다는 사실은 거의 부차적이기 때문에 "베이스는 베이 시안이 아니고 그리스도는 그리스도인이되지 않을 것"이라고 농담을합니다.

간단히 말해 베이지안 모델은 모두 확률 분포를 사용하여 도메인 객체를 엄격하게 모델링하는 것입니다. 따라서 간단한 차별적 기법으로는 사용할 수없는 지식을 암호화 할 수 있습니다.