우도 함수가 pdf가 아닌 이유는 무엇입니까?

57

우도 함수가 pdf (확률 밀도 함수)가 아닌 이유는 무엇입니까?

likelihood pdf

— 존 도우
소스

6

우도 함수는 미지의 파라미터의 함수 인 (데이터 조건으로). 따라서 일반적으로 영역 1을 갖지 않으며 (즉, 가능한 모든 값에 대한 적분 은 1이 아님) 정의상 pdf가 아닙니다.

θ

$\theta$

θ

$\theta$

— MånsT

3

MO에 2 년 전 같은 질문 : mathoverflow.net/questions/10971/…

— Douglas Zare

3

재미있는 참조, @Douglas. 대답은 다소 불만족 스럽다, IMHO. 받아 들여진 것은 사실이 아닌 것을 가정합니다 ( " 와 는 모두 pdf입니다": 아닙니다 !). 다른 것들은 실제로 통계적 문제에 도달하지 않습니다.

p (X | m)

$p(X|m)$

p (m | X)

$p(m|X)$

— whuber

2

우버 +1 수학 수준이 매우 높음에도 불구하고 mathoverflow 사이트에 잘못된 답변이 있다는 것은 놀라운 일입니다!

— Stéphane Laurent

1

@Stephane : 이것은 사실이지만 통계 학자와 심지어 영아들조차도 MO에서 상당히 적은 편이고 눈에 띄는 예외가 있습니다. 이 질문은 일반적으로 허용되는 질문과 답변의 질이 실질적으로 다른 MO의 존재 초기에있었습니다.

— 추기경

61

두 가지 정의로 시작하겠습니다.

확률 밀도 함수 (PDF)를 로 통합하는 음이 아닌 함수 . $1$
가능성은 매개 변수의 함수로서 관측 된 데이터의 조인트 밀도로 정의됩니다. 그러나 아래 주석에서 @whuber가 만든 Lehmann에 대한 언급에서 알 수 있듯이 우도 함수는 데이터가 고정 상수로 유지되는 매개 변수의 함수입니다. 따라서 데이터의 함수로서 밀도라는 사실은 관련이 없습니다.

따라서 우도 함수는 모수에 대한 적분이 반드시 1과 같을 필요가 없기 때문에 pdf 가 아닙니다 (실제로 @whuber의 다른 주석에서 지적한 것처럼 전혀 적분되지 않을 수도 있음).

이를 확인하기 위해 간단한 예를 사용하겠습니다. 분포 에서 단일 관측 값 가 있다고 가정합니다 . 그런 다음 우도 함수는 $x$ ${\rm Bernoulli}(\theta)$

L (θ) = θ^{x} (1 - θ)^{1 - x}

$L(\theta) = \theta^{x} (1 - \theta)^{1-x}$

이것은 사실이 . 특히 이면 이므로 $\int_{0}^{1} L(\theta) d \theta = 1/2$ $x = 1$ $L(\theta) = \theta$

\int_{0}^{1} L (θ) d θ = \int_{0}^{1} θ d θ = 1 / 2

$\int_{0}^{1} L(\theta) d \theta = \int_{0}^{1} \theta \ d \theta = 1/2$

때 유사한 계산이 적용됩니다 . 따라서 는 밀도 함수가 될 수 없습니다. $x = 0$ $L(\theta)$

아마도 더 확률이 확률 밀도는 지적되어 있지 않으며 이유 도시이 기술 예보다 중요한 가능성이 없는 정확한되는 파라미터 값의 확률 같은 또는 아무것도 - 그것은 확률 (밀도)는 데이터를 매개 변수 value가 주어지면 완전히 다른 것입니다. 따라서 우도 함수가 확률 밀도처럼 행동하는 것을 기 대해서는 안됩니다.

— 매크로
소스

12

+1 미묘한 점은 적분에 " " 가 나타나는 것조차도 우도 함수의 일부 가 아니라는 것 입니다. 그것은 어디에서나 온다. 이것을 보는 많은 방법들 중에서, 재 모수화는 가능성에 대해 필수적인 것은 아무것도 변경하지 않는다는 것을 고려하십시오-그것은 단지 매개 변수의 이름을 바꾸는 것일 뿐이지 만 적분을 바꿀 것입니다. 예를 들어, 로그 확률 를 사용하여 Bernoulli 분포를 매개 변수화 하면 적분도 수렴되지 않습니다.

d θ

$d\theta$

ψ = \log (θ / (1 - θ))

$\psi=\log(\theta/(1-\theta))$

— whuber

3

MLE은 모노톤 변환에서 변하지 않지만 확률 밀도는 그렇지 않습니다. QED! 이것은 정확히 Fisher의 주장이며, @Michael Chernick의 답변에 대한 주석에서 스케치했습니다.

— whuber

4

whuber의 의견에 +1. " "는 매개 변수 공간에 -field 조차 없기 때문에 일반적으로 의미가 없습니다 !

d θ

$d\theta$

σ

$\sigma$

— Stéphane Laurent

1

@PatrickCaldon 유일한 연속성 제약 조건은 cdf에 있으며 올바른 연속성이 필요합니다. 확률이 정의되지 않은 상태에서 정의되지 않은 상태로 다시 돌아 가지 않도록하려면 이것이 필요합니다. 100 % 확신 할 수는 없지만 cdf가 있고 가능한 한 를 해결할 필요조차 없다고 생각합니다 . 가능하다면 RV가 연속적입니다.

\int_{D} f

$\int_D f$

— Joey

1

(+1) 10K 담당자에게 축하의 인사를 전합니다. 좋은 답변; 특히 당신이 제시 한 예를 좋아합니다. 건배. :)

— 추기경

2

그러나 우도 함수는 모수 주어지면 관측 된 데이터에 대한 결합 확률 밀도입니다 . 이와 같이 확률 밀도 함수를 형성하도록 정규화 될 수있다. 따라서 본질적으로 pdf와 같습니다. $θ$

— 마이클 체 르닉
소스

3

따라서 매개 변수와 관련하여 가능성이 통합 가능하다는 것을 지적하고 있습니다 (항상 사실입니까?). 평평한 사전이 사용될 때 사후 분포에 대한 우도의 관계를 암시한다고 생각하지만 자세한 설명 없이이 대답은 나에게 신비로 남아 있습니다.

— 매크로

6

화합에 통합하는 것이 요점입니다. 피셔 1922 논문에서 이론적 통계 수학적 기초에서 실제로 통상 우도 관찰 적절한 기능을 곱한에 통일성을 통합하는 "정규화"일 수 되도록 . 그가 반대 한 것은 임의성입니다 . 많은 가 있습니다. "... 확률이라는 단어는 이러한 연결에서 잘못 사용됩니다. 확률은 주파수의 비율이며 이러한 값의 주파수에 대해서는 아무것도 알 수 없습니다."

L (θ)

$L(\theta)$

p (θ)

$p(\theta)$

\int L (θ) p (θ) d θ = 1

$\int L(\theta)p(\theta)d\theta=1$

p

$p$

— whuber

1

@ 네스토르 (마이클)는 - 그것은 그 whuber를 표시와 나는 가능성이 밀도 함수 수없는 이유를 묻는으로이 질문을 해석 의 함수로 $\theta$ 우리가 다른 질문에 대답하는 나타나도록. 물론 가능성은 관측치의 밀도 함수 (모수 값이 주어짐)입니다. 이것이 정의되는 방식입니다.

— 매크로

2

마이클, 우린 가능성이 의 함수이기 때문에 우리가 그런 식으로 해석했다고 생각 합니다. 밀도라면 밀도는 입니다. 나는 당신이 가진 방식으로 해석하는 것을 상상할 수 있지만 Nestor의 의견을 읽은 후에야 그 가능성이 발생하지 않았습니다.

θ

$\theta$

θ

$\theta$

— 매크로

4

이 답변에 의해 모호성이 생성되지만 질문에는 나타나지 않습니다. @Macro 지적한 바와 같이, 우도 함수 에만 파라미터가. ( 예 , "밀도 고정 고려, 의 함수로서 상기 호출 우도 함수 EL 레만 : 포인트 추정 이론 , 6.2 .) 따라서 그 질문은 분명하다 "그런데, 가능성은 조인트 확률 밀도이다"는 문제를 명확하게하지 않고 혼동한다

f (x_{1}, θ) \dots f (x_{n}, θ)

$f(x_1,\theta)\cdots f(x_n,\theta)$

x

$x$

θ

$\theta$

— whuber

1

필자는 통계학자는 아니지만 가능성 함수 자체는 매개 변수와 관련하여 PDF가 아니지만 Bayes Rule의 해당 PDF와 직접 관련이 있다는 것을 이해하고 있습니다. 우도 함수 P (X | theta)와 사후 분포 f (θX)는 밀접하게 연결되어 있습니다. 전혀 "완전히 다른 것"이 아닙니다.

— 산타 야나
소스

1

우리 사이트에 오신 것을 환영합니다! 이 글의 다른 답변에 대한 주석에서 흥미로운 자료를 찾을 수 있습니다. 그들 중 일부는 추가적인 수학 기계가 명시 적으로 도입되지 않는 한 (예 : 매개 변수의 시그마 필드) Bayes 'Rule이 적용되지 않는 이유를 지적합니다.

— whuber

감사합니다 @ whuber. 나는 스레드의 다른 곳에서 Bayes 'Rule에 대한 언급을 보지 못했지만 대학원 수준의 확률에 충분히 유창하다고 가정하면 의견에 암시가 있다고 가정합니다 (그렇지 않습니다). Bayes 'Rule의 맥락에서 우도 함수를 배치하면 OP의 질문에 유용한 직관을 제공한다는 데 동의하지 않습니까?

— santayana 2019

대한 확률 분포를 가정하지 않고 Bayes의 규칙을 적용하는 것은 불가능합니다 . 그 분포와 의 함수로서의 데이터 분포의 차이는 이 스레드의 거의 모든 것입니다. 암묵적으로 그러한 분포가 있다고 가정하거나 그러한 분포는 Michael Chernick의 답변에 대한 주석 스레드에서 논의 된 혼란의 근원입니다. 따라서이 점에 대한 명확하고 신중한 논의가 도움이 될 수 있지만 그보다 부족한 것이 있으면 더 큰 혼란을 초래할 수 있다는 데 동의합니다.

θ

$\theta$

θ

$\theta$

— whuber

내 사과는 언뜻보기에 실이 오해에 지나지 않는 것처럼 보였지만 이제는 당신이 언급 한 관련 의견, 특히 Fisher에 대한 인용문을 봅니다. 그러나 이것이 베이지안 대 빈번한 토론으로 내려 가지 않습니까? 세타 확률 분포에 찬성하여 주장 할 베이지안 추론의 많은 실무자가 없습니까? (당신이 그들에 동의하든 또 다른 문제는 ...)

— santayana

1

예, B 대 F 토론이 여기 숨어 있습니다. 신중한 잦은 주의자는 대한 사전 배포를 채택 할 근거가있는 경우 Bayes 'Rule을 행복하게 사용 하지만, Bayesian의 일부 회사 는 사전을 채택 해야 한다는 것을 부인하여 베이지 안에서 나옵니다 . 우리는이 질문이 어떻게 표현되었는지를 알 수 있습니다. 대신에 "우수 함수를 PDF로 처리 할 수있는 이유"(파라미터의 경우)를 묻는다면 베이지안 선을 따라이 대화를 조정했을 것입니다. 그러나 부정적으로 요구함으로써 OP는 빈번한 관점에서 가능성을 조사 할 것을 찾고있었습니다.

θ

$\theta$

— whuber

1

우도는 . 여기서 f (x; θ)는 확률 질량 함수입니다 그런 다음 가능성은 항상 1보다 작지만 f (x; θ)가 확률 밀도 함수이면 밀도는 1보다 클 수 있으므로 가능성은 1보다 클 수 있습니다. $\mathcal{L}(\theta; x_1,...,x_n) = f(x_1,...,x_n; \theta)$

일반적으로 샘플은 iid로 처리됩니다.
$\mathcal{L}(\theta; x_1,...,x_n) = f(x_1,...,x_n; \theta) = \prod_{j} f(x_j; \theta)$

원래 형태를 보자.

베이지안 추론에 따르면, , 즉 입니다. 최대 우도 추정치는 증거에 대한 증거의 비율을 상수 (이 질문의 답변 참조)로 취급하며 , 이는 이전의 신념을 생략합니다. 가능성은 추정 된 모수에 기초한 후부와 양의 상관 관계가 있습니다. 은 pdf 일 수 있지만 은 이 다루기 어려운 의 일부 이므로 은 아닙니다 . $f(x_1,...,x_n; \theta) = \frac{f(\theta; x_1,...,x_n) * f(x_1,...,x_n)}{f(\theta)}$ $\hat{\mathcal{L}} = \frac{posterior * evidence}{prior}$ $\hat{\mathcal{L}}$ $\mathcal{L}$ $\mathcal{L}$ $\hat{\mathcal{L}}$

예를 들어, 가우시안 분포의 평균 및 표준 분산을 모르고 해당 분포의 많은 표본을 사용하여 훈련하여 얻고 싶습니다. 먼저 평균 및 표준 분산을 무작위로 초기화하고 (가우스 분포를 정의 함) 한 표본을 취하여 추정 된 분포에 맞추고 추정 된 분포에서 확률을 얻을 수 있습니다. 그런 다음 샘플을 계속 넣고 많은 확률을 얻은 다음 이러한 확률을 곱하고 점수를 얻습니다. 이런 종류의 점수는 가능성입니다. 특정 PDF의 가능성은 거의 없습니다.

— 레너 장
소스