우연의 정의에 대해 Frequentist와 Bayesian간에 차이가 있습니까?

21

일부 출처는 우도 함수가 조건부 확률이 아니라고 말합니다. 이것은 나에게 매우 혼란 스럽다.

내가 본 대부분의 출처에 따르면, 매개 변수 를 갖는 분포 의 가능성 은 샘플이 주어질 확률 질량 함수의 곱이어야합니다 . $\theta$ $n$ $x_i$

L (θ) = L (x_{1}, x_{2}, . . ., x_{n}; θ) = \prod_{i = 1}^{n} p (x_{i}; θ)

$L(\theta) = L(x_1,x_2,...,x_n;\theta) = \prod_{i=1}^n p(x_i;\theta)$

예를 들어 로지스틱 회귀 분석에서는 최적화 알고리즘을 사용하여 최적 함수와 최대 LR 모델을 얻기 위해 우도 함수 (최대 우도 추정)를 최대화합니다. 우리가 서로 독립적이라고 가정 하는 훈련 샘플이 주어지면 확률의 곱 (또는 공동 확률 질량 함수)을 최대화하려고합니다. 이것은 나에게 명백한 것 같습니다. $n$

가능성, 조건부 확률 및 실패율 사이의 관계 에 따르면 , "가능성은 확률이 아니며 조건부 확률이 아닙니다". 또한, 가능성은 가능성에 대한 베이지안 이해에서만 조건부 확률입니다. 즉, 가 임의 변수 라고 가정하는 경우 입니다. " $\theta$

나는 잦은 주의자와 베이지안의 학습 문제를 다루는 다른 관점에 대해 읽었다.

출처에 따르면 베이지안 추론의 경우 우선 순위 , 가능성 가 있으며 베이지안 정리를 사용하여 사후 하려고합니다 . $P(\theta)$ $P(X|\theta)$ $P(\theta|X)$

P (θ | X) = \frac{P (X | θ) \times P (θ)}{P (X)}

$P(\theta|X)=\dfrac{P(X|\theta) \times P(\theta)}{P(X)}$

베이지안 추론에 익숙하지 않습니다. 어떻게 온 도 가능성이라고한다, 그것의 매개 변수에 대한 조건 관측 된 데이터의 분포이다? 에서 위키 백과 , 때로는이 기록 말한다 . 이것은 무엇을 의미 하는가? $P(X|\theta)$ $L(\theta|X)=p(X|\theta)$

우연에 대한 Frequentist와 Bayesian의 정의에는 차이가 있습니까?

감사.

편집하다:

베이 즈 정리를 해석하는 방법은 여러 가지가 있습니다. 베이 즈 해석과 빈번한 해석을 참조하십시오 ( 베이 즈 정리-Wikipedia 참조 ).

— 타일러 十三将士归玉门
소스

2

가능성의 두 가지 주요 속성은 (a) 다른 방식이 아닌 특정 대한 의 함수 이고, (b) 양의 비례 상수까지만 알 수 있다는 것입니다. 이 합계에 필요하거나 통합하지 않기 때문에 그것은, (다른 조건 또는) 확률 아닌 온통

θ

$\theta$

X

$X$

1

$1$

θ

$\theta$

— 헨리

2

참조 stats.stackexchange.com/q/224037/35989

— 팀

24

정의에는 차이가 없습니다 . 두 경우 모두 우도 함수는 샘플링 밀도에 비례하는 매개 변수의 함수입니다. 엄밀히 말하면 우리는 그 가능성이 샘플링 밀도와 같을 필요는 없습니다. 그것은 비례해야하기 때문에 매개 변수에 의존하지 않는 곱셈 부분을 제거 할 수 있습니다.

샘플링 밀도는 지정된 매개 변수 값에 따라 데이터의 함수로 해석되는 반면, 우도 함수는 고정 된 데이터 벡터에 대한 매개 변수의 함수로 해석됩니다. 따라서 IID 데이터의 표준 경우에는 다음이 있습니다.

엘_{엑스} (θ) \propto \prod_{나는 = 1}^{엔} 피 ({엑스}_{나는} | θ) .

$L_\mathbf{x}(\theta) \propto \prod_{i=1}^n p(x_i|\theta).$

베이지안 통계에서, 우리는 보통 베이 즈 정리를 가장 간단한 형태로 표현합니다 :

π (θ | 엑스) \propto π (θ) \cdot 엘_{엑스} (θ) .

$\pi (\theta|\mathbf{x}) \propto \pi(\theta) \cdot L_\mathbf{x}(\theta).$

Bayes 정리에 대한이 표현은 두 개의 다중화 요소가 매개 변수의 함수이며, 이는 사후 밀도에 관심 대상이라는 것을 강조합니다. (이 비례 성 결과는 사후가 밀도이기 때문에 규칙을 완전히 정의하므로 고유 한 곱하기 상수가 하나에 통합됩니다.) 업데이트에서 지적 할 때 베이지안과 빈번한 철학은 해석 구조가 다릅니다. 잦은 패러다임 내에서 매개 변수는 일반적으로 "고정 상수"로 취급되므로 확률 측정 값이 아닙니다. 따라서 빈번한 연구자들은 매개 변수에 대한 사전 또는 사후 분포의 언급을 거부한다 (이러한 철학적 및 해석 적 차이에 대한 자세한 설명은 O'Neill 2009 참조 ).

— 복원 모니카
소스

14

우도 함수는 독립적으로 정의된다 또는 이전에 함수로서, 추론에 사용되는 통계적 패러다임 (또는 파라미터) 함수 그에 따라 달라집니다 또는 색인되어 관찰 (들) 이 유추를 사용할 수 있습니다. 또한 데이터의 변동성 또는 무작위성을 나타 내기 위해 선택한 확률 모델 군에 따라 암시 적으로도 사용됩니다. 주어진 쌍의 값 에 대해이 함수 의 값은 에서의 모델 밀도 값과 정확히 동일합니다. $-$ $-$ $L(\theta;x)$ $L(\theta|x)$ $\theta$ $-$ $-$ $x$ $(\theta,x)$ $x$ 매개 변수로 색인화 될 때 . $\theta$ 이는 종종 "데이터의 확률"로 번역됩니다.

이 포럼 의 이전 답변 보다 더 권위 있고 역사적인 출처를 인용하려면 ,

"우리는 이러한 관측을 설명하기 위해 제안 될 수있는 가설과 관련하여 관찰 될 수있는 수량의 발생 가능성에 대해 논의 할 수있다. 가설의 가능성에 대해서는 알 수 없다. [We] 가능성을 확인할 수있다 관측치로부터의 계산에 의한 가설 :… 관찰 할만한 양의 가능성에 대해 말하는 것은 의미가 없다. " RA 피셔, 작은 샘플로부터 추론 상관 계수의``가능한 오류 ''에 . Metro 1, 1921, 25 페이지

과

"샘플에서 찾을 수있는 것은 r의 특정 값을 갖는 모집단에서 r의 관찰 된 값을 갖는 샘플의 확률에 비례하는 양으로 가능성을 정의하면 r의 특정 값의 가능성입니다. "얻어야합니다." RA 피셔, 작은 샘플로부터 추론 상관 계수의``가능한 오류 ''에 . Metro 1, 1921, 24 페이지

Jeffreys (및 I)가 불필요하다고 생각하는 비례를 언급합니다.

".. 가능성, RA 피셔 교수에 의해 도입 된 편리한 용어이지만, 그의 사용법에는 때때로 일정한 요소가 곱해집니다. 이것은 원래의 정보와 논의중인 가설을 고려한 관측의 가능성입니다." H. Jeffreys, 확률 이론 , 1939, p.28

존 알드리치 (John Aldrich)의 주제에 대한 훌륭한 역사적 입장 에서 한 문장 만 인용 하면 (Statistical Science, 1997) :

"Fisher (1921, p. 24)는 확률 밀도와 가능성에 대해 수행 할 수있는 수학적 연산을 구별하면서 역 확률에 대해 1912 년에 작성한 것을 다시 작성했습니다. 가능성은 '차이 요소'가 아닙니다. " J. Aldrich, RA Fisher 및 최대 가능성 만들기 1912 – 1922 , 1997 , p.9

베이지안 접근법을 채택 할 때, 가능성 함수는 모양이나 특성이 변하지 않습니다. 의해 인덱스 된 밀도를 유지합니다 . 이후 추가의 기능, 즉이다 같은 확률 모델 종래 분포의 밀도를 부여한다 에 의해 색인화 또한 해석 될 수있는 조건 의 실현에 밀도 조건부 : 베이지안 모델링 중 하나 실현 종래, 밀도로부터 생성된다 , 다음 의 실현 , $x$ $\theta$ $\theta$ $x$ $\theta$ $\theta$ $\theta$ $\pi(\cdot)$ $X$ $x$ 는 밀도가 인 분포 에서 생성되며 인덱스됩니다 . 다시 말해서, 적절한 지배적 측정과 관련하여, 쌍 은 관절 밀도 를 가지는데, 이로부터 시작 밀도는 , 즉, 를 로 실현하기위한 조건부 의 조건 밀도는 로 표현됩니다. 이후 발견 제프리스 (1939) . $L(\theta|\cdot)$ $\theta$ $(\theta,x)$

π (θ) \times 엘 (θ | 엑스)

$\pi(\theta) \times L(\theta|x)$

θ

$\theta$

θ

$\theta$

x

$x$

π (θ | 엑스) \propto π (θ) \times 엘 (θ | 엑스)

$\pi(\theta|x) \propto \pi(\theta) \times L(\theta|x)$

후부 \propto 이전 \times 줄

$\text{posterior} \propto \text{prior} \times \text{likelihood}$

참고 : Wikipedia 페이지 의 소개에서 빈번주의와 베이지안 가능성 사이의 혼동과 불필요 함, 또는 현재의 베이지안 통계 학자 대다수가 후 확률의 대용으로 가능성을 사용하지 않기 때문에 명백한 잘못에 대한 차이점을 발견했습니다 . 마찬가지로, 위키 백과 페이지에서 Bayes Theorem에 대해 지적한 "차이" 는 패러다임이나 확률 진술의 의미와 무관하게 컨디셔닝의 변화에 대한 확률 진술이기 때문에 Bayes Theorem은 다른 것보다 더 혼란스럽게 들립니다. ( 제 생각 에 그것은 정리보다 정의입니다!)

— 시안
소스

1

작은 부록으로 :

"Likelihood"라는 이름은 가능한 많은 다른 의미가 있기 때문에 오해의 소지가 있습니다. "일반 언어"뿐만 아니라 통계도 있습니다. 나는 적어도 가능성이라고 불리는 적어도 세 가지 다르지만 관련 표현을 생각할 수 있습니다. 심지어 교과서에서도.

즉, 가능성의 곱셈 정의를 취할 때 (예를 들어, 공리적) 정의의 의미에서 어떤 종류의 확률로 바꿀 수있는 것은 없다. 실제 숫자입니다. 확률을 계산 (비율, 사전 및 사후 계산 등)하기 위해 많은 작업을 수행 할 수 있지만 그 자체로는 확률 측면에서 의미가 없습니다.

답변은 시안의 훨씬 유익하고 포괄적 인 답변에 의해 다소 사용되지 않습니다. 그러나 요청에 따라 가능성에 대한 일부 교과서 정의는 다음과 같습니다.

함수 $L (\vec{x}; \theta)$
일부 관측 된 데이터 (Maximum L., Minimum L., log-L 등) 조건 하에서 파라미터 의 '최상의'값을 찾는 방법 $\theta$
상이한 선행 (예를 들어 분류 작업에서)에 대한 우도 값의 비율 ... 및 또한 상이한 의미는 상기 언급 된 요소의 (ab) 사용으로 귀속 될 수있다.

— 케루빔
소스

1

예 / 참조를 추가 할 수 있다면이 방법이 훨씬 더 나은 답이 될 것입니다. 적어도 세 가지의 서로 다르지만 관련성있는 표현을 모두 생각할 수 있습니다. 심지어 교과서에서도 .

— kjetil b halvorsen 2018 년