가능성을 엄격하게 정의하는 방법은 무엇입니까?

가능성은 다음과 같은 몇 가지 방법으로 정의 할 수 있습니다.

함수 에서 로 매핑 을 즉, . $L$ $\Theta\times{\cal X}$ $(\theta,x)$ $L(\theta \mid x)$ $L:\Theta\times{\cal X} \rightarrow \mathbb{R}$
랜덤 함수 $L(\cdot \mid X)$
또한 가능성은 단지 "관측 된"가능성 임을 고려할 수 있습니다. $L(\cdot \mid x^{\text{obs}})$
실제로 가능성은 곱셈 상수까지만 대한 정보를 가져 오므로, 가능성은 함수가 아닌 등가 클래스의 함수로 간주 할 수 있습니다. $\theta$

매개 변수화의 변경을 고려할 때 또 다른 질문이 발생합니다. 가 새로운 매개 변수화 인 경우 일반적으로 로 에 대한 가능성을 나타내며 이는 이전 함수 에서 하지만에서 . 이것은 강조하지 않으면 초보자에게 어려움을 줄 수있는 욕설이지만 유용한 표기법입니다. $\phi=\theta^2$ $L(\phi \mid x)$ $\phi$ $L(\cdot \mid x)$ $\theta^2$ $\sqrt{\phi}$

가능성에 대해 가장 좋아하는 엄격한 정의는 무엇입니까?

또한 어떻게 호출 합니까? 나는 보통 " 가 관찰 될 때 의 가능성"과 같은 것을 말한다 . $L(\theta \mid x)$ $\theta$ $x$

편집 : 아래의 의견을 볼 때, 나는 상황을 정확하게해야한다는 것을 알고 있습니다. 매개 변수 군 $\{f(\cdot \mid \theta), \theta \in \Theta\}$ 에서 일부 측정 기준과 관련하여 각 $f(\cdot \mid \theta)$ 관측 공간 에 정의되어 ${\cal X}$ 있습니다. 따라서 우리는 $L(\theta \mid x)=f(x \mid \theta)$ 를 정의하고 문제는 " $L$ 이란 무엇 인가?"입니다. (질문은 가능성의 일반적인 정의에 관한 것이 아닙니다)

— 스테판 로랑
소스

(1) 모든

대해

이므로

의 상수조차도 정의 되어 있다고 생각합니다 . (2)

및

와 같은 매개 변수 를 단순히 분포의 다기관에 대한 좌표 로 생각하면 매개 변수화의 변경에는 본질적인 수학적 의미가 없습니다. 그것은 단지 설명의 변화 일뿐입니다. (3) 영어를 모국어로 사용하는 사람들은 "on"보다는 "thetahood of

" 라고 더 자연스럽게 말할 것입니다. (4) "

가 관찰 될 때"절 은 대부분의

가 결코 관찰되지 않기 때문에 철학적으로 어려움 이있다. 왜 " 주어진

가능성"이라고 말하지 않는가

\int L (θ | x) d x = 1

$\int L(\theta|x)dx = 1$

θ

$\theta$

L

$L$

ϕ

$\phi$

θ

$\theta$

θ

$\theta$

x

$x$

x

$x$

θ

$\theta$

x

$x$ "?

— whuber

@ whuber : (1)의 경우 상수가 잘 정의되어 있다고 생각하지 않습니다. ET Jaynes의 저서에서 "정규화는 임의적이기 때문에 가능성은 확률이 아니다"라고 쓴다.

— Neil G

두 가지 종류의 정규화를 혼동하는 것 같습니다. Neil : Jaynes는

아니라

를 통합하여 정규화를 참조했습니다 .

θ

$\theta$

x

$x$

— whuber

@ whuber : 변경 하면 로그 우도에 일정한 양을 더한 다음 부분 미분을 취하면 사라지기 때문에 Cramer-Rao 바운드의 스케일링 계수가 중요하지 않다고 생각합니다 .

k

$k$

— Neil G

나는 Neil에 동의합니다. 상수가 중요한 역할을하는 애플리케이션은 없습니다

— Stéphane Laurent

답변:

세 번째 항목은 내가 가장 엄격한 정의로 가장 많이 사용하는 항목입니다.

다른 사람들도 흥미 롭습니다 (+1). 특히 첫 번째는 샘플 크기가 아직 정의되지 않은 어려움으로 인해 "시작"세트를 정의하기가 더 어려워지고 있습니다.

나에게 가능성의 기본 직관은 그것이 모델의 함수 + 임의 변수의 함수가 아니라 매개 변수라는 것입니다 (교시 목적을위한 중요한 포인트). 그래서 나는 세 번째 정의에 충실 할 것입니다.

표기법의 남용의 원천은 가능성의 "보낸 사람"세트가 암시 적이며 일반적으로 잘 정의 된 기능에는 해당되지 않습니다. 여기서 가장 엄격한 접근 방식은 변환 후 가능성이 다른 모델과 관련이 있음을 인식하는 것입니다. 첫 번째 모델과 동일하지만 또 다른 모델입니다. 따라서 우도 표기법은 (아래 첨자 또는 기타로) 어떤 모델을 참조하는지 보여 주어야합니다. 물론 그렇게하지는 않지만 가르치기 위해 할 수도 있습니다.

마지막으로, 이전 답변과 일관성을 유지 하기 위해 마지막 공식에서 " 가능성"이라고 말합니다 . $\theta$

— gui11aume
소스

감사. 그리고 곱셈 상수까지의 평등에 대한 당신의 조언은 무엇입니까?

— Stéphane Laurent 2016 년

개인적으로 필자는 정의에 하드 코딩하는 대신 필요할 때 호출하는 것을 선호합니다. 그리고 모델 선택 / 비교의 경우,이 '최대 곱하기 상수'평등은 유지되지 않습니다.

— gui11aume

승인. 이름과 관련하여 및 가능성에 대해 두 가지 가능한 관측치에 대해 논의한다고 상상할 수 있습니다 . 이러한 경우에, 당신은 "가능성 말할 것 관찰", 또는 "의 가능성 관찰에 대한 , 또는 뭔가 다른?"

L (θ ∣ x_{1})

$L(\theta\mid x_1)$

L (θ ∣ x_{2})

$L(\theta\mid x_2)$

θ

$\theta$

x_{1}

$x_1$

θ

$\theta$

x_{1}

$x_1$

— Stéphane Laurent 2018 년

모델을 다시 매개 변수화 하면 실제로 함수의 구성으로 우도를 계산합니다 여기서 입니다. 이 경우, 는 에서 로 간다. 따라서 우도의 정의 세트 ( "from"세트)는 더 이상 동일하지 않다. 첫 번째 함수 과 두 번째 는 같은 함수가 아니기 때문에 호출 할 수 있습니다.

ϕ = θ^{2}

$\phi = \theta^2$

L (. | x) \circ g (.)

$L(.|x) \circ g(.)$

g (y) = y^{2}

$g(y) = y^2$

g

$g$

R

$R$

R^{+}

$R^+$

L_{1} (. |)

$L_1(.|)$

L_{2} (. |)

$L_2(.|)$

— gui11aume

세 번째 정의는 어떻게 엄격합니까? 그리고 표본 크기가 정의되지 않은 문제는 무엇입니까? 표본 공간 해당 시그마 대수학이 자연스럽게 존재하는 라고 말하면 , 왜 가능성에 대한 병렬 정의를 가질 수 없습니까?

P (x_{1}, x_{2}, \dots, x_{n} ∣ θ)

$P(x_1, x_2, \dotsc, x_n \mid \theta)$

Ω^{n}

$\Omega^n$

— Neil G

나는 그것을 다른 것으로 부를 것이라고 생각합니다. 가능성은 주어진 대한 의 함수로 표현 된 모수 의 값이 주어지면 관측 된 x에 대한 확률 밀도입니다 . 비례 상수에 대한 견해를 공유하지 않습니다. 가능성의 단조 함수를 최대화하면 대해 동일한 솔루션을 제공하기 때문에 나는 단지 효과가 있다고 생각합니다 . 따라서 또는 일반적으로 수행되는 와 같은 기타 단조 함수에 대해 을 최대화 할 수 있습니다 . $θ$ $θ$ $x$ $θ$ $cL(θ∣x)$ $c>0$ $\log(L(θ∣x))$

— 마이클 R. 체 르닉
소스

극대화뿐만 아니라, 비례에 따른 확률은 우도 비율 개념과 베이지안 통계에 대한 베이 즈 공식에서 작용합니다

— Stéphane Laurent

나는 누군가가 내 대답을 줄 였다고 생각했다. 그러나 나는 가능성에 비례하는 것을 호출하지 않고 이러한 방법으로 가능성을 결정적인 가능성으로 정의하는 것이 합리적이라고 생각합니다. 이전에 대한 귀하의 의견에 @ StéphaneLaurent, 기능이 통합 가능한 경우 밀도로 정규화 할 수 있습니다. 후부는 이전의 가능성 시간에 비례합니다. 후방은 적분으로 나눠 정규화해야하므로 분포 이전을 지정할 수도 있습니다. 이것이 부적절한 사전에 적용되는 것은 확장 된 의미 일뿐입니다.

— Michael R. Chernick 2016 년

나는 왜 누군가 가이 대답을 내리는 지 확실하지 않습니다 . OP의 두 번째 질문과 첫 번째 질문보다 더 많이 응답하려고하는 것 같습니다. 아마도 그것은 다른 독자들에게는 분명하지 않았습니다. 건배. :)

— 추기경

@ 마이클 나는이 답변을 공감 할 필요가 없다고 생각합니다. 정보가없는 선행 (이것은 또 다른 토론이며)과 관련하여이 주제에 대한 새로운 논의를 시작하려고합니다. 영어를 배우기가 쉽지 않기 때문에 빨리하지 않을 것입니다. 수학보다 "철학"을 쓰는 것이 더 어렵습니다.

— Stéphane Laurent

@Stephane : 원하는 경우 다른 질문을 프랑스어로 직접 게시 해보십시오. 이 사이트에는 확실하지 않은 구절을 번역하는 데 도움이 될 수있는 프랑스어 원어민이 몇 명 있습니다. 여기에는 중재자 및 최고 영어 통계 저널 중 하나의 편집자도 포함됩니다. 질문을 기다리겠습니다.

— 추기경

다음은 엄격한 수학적 정의에 대한 시도입니다.

하자 밀도 인정 임의 벡터 일 어느 정도에 대해 에 여기서위한 , 는 와 관련하여 의 밀도 계열입니다 . 그런 다음 대해 우도 함수 를 . 명확성을 위해, 각각의 우리는이 . 를 특정 잠재력으로 생각할 수 있습니다 $X: \Omega \to \mathbb R^n$ $f(x | \theta_0)$ $\nu$ $\mathbb R^n$ $\theta \in \Theta$ $\{f(x|\theta): \theta \in \Theta\}$ $\mathbb R^n$ $\nu$ $x \in \mathbb R^n$ $L(\theta | x)$ $f(x | \theta)$ $x$ $L_x : \Theta \to \mathbb R$ $x$ $x_{obs}$ 및 은 의 "true"값입니다 . $\theta_0$ $\theta$

이 정의에 대한 몇 가지 관찰 :

이 정의는 대한 불연속적이고 연속적이며 다른 종류의 분포를 처리 할 수있을 정도로 강력 합니다. $X$
확률 분포 / 측정 수준 대신 밀도 함수 수준에서 가능성을 정의하고 있습니다. 그 이유는 밀도가 독창적이지 않기 때문에 이것이 동등한 등급의 밀도로 전달되어 여전히 안전 할 수있는 상황이 아니라는 것입니다. 밀도를 다르게 선택하면 연속적인 경우 MLE이 달라집니다. 그러나 대부분의 경우 이론적으로 바람직한 밀도 군의 자연스러운 선택이 있습니다.
우리가 그들에게 분배를 할당해야하기 때문에 우리가 설계, 그것으로 작업을하고있는 확률 변수를 포함하고 있기 때문에이 정의처럼 나는, 우리는 엄격하게의 "진정한하지만 알 수없는"값의 개념에 내장 한 여기, 표시 . 저에게는 학생으로서 가능성에 대해 엄격한 문제는 항상 "진정한" 와 "관찰 된" 의 실제 개념을 수학과 조화시키는 방법이었습니다 . 이것은 종종 이러한 개념이 공식적이지 않다고 주장하면서 물건을 증명할 때 공식적으로 그것을 사용하고 주장하는 강사의 도움을받지 못했습니다! 그래서 우리는이 정의에서 그것들을 공식적으로 다루고 있습니다. $\theta$ $\theta_0$ $\theta$ $x_{obs}$
편집 : 물론, 우리는 일반적인 임의의 요소 , 및 을 고려할 수 정의에 따라 엄격한 문제는 없습니다. 당신이 조심하는 한 (또는 당신이 엄격하지 않은 수준이라도 당신에게 중요하지 않은 경우에도). $L(\theta | X)$ $S(\theta | X)$ $\mathcal I(\theta | X)$

— 사람
소스

@ 서안하자

은

에서 균일하다 . 두 밀도

대

. 모두

과

X_{1}, . . ., X_{n}

$X_1, ..., X_n$

(0, θ)

$(0, \theta)$

f_{1} (x) = θ^{- 1} I [0 < x < θ]

$f_1 (x) = \theta^{-1} I[0 < x < \theta]$

f_{2} (x) = θ^{- 1} I [0 \leq x \leq θ]

$f_2 (x) = \theta^{-1} I[0 \le x \le \theta]$

f_{1}

$f_1$

f_{2}

$f_2$

U (0, θ)

$\mathcal U(0, \theta)$

f_{2}

$f_2$

max X_{i}

$\max X_i$

f_{1}

$f_1$

\prod_{j} f_{1} (x_{j} | max x_{i}) = 0

$\prod _j f_1 (x_j| \max x_i) = 0$

\hat{θ} = max X_{i}

$\hat \theta = \max X_i$

0

$0$

sup_{θ} \prod_{j} f_{1} (x | θ)

$\sup _\theta \prod _j f_1(x | \theta)$

θ

$\theta$

@ guy : 고맙습니다.이 흥미로운 반례에 대해 몰랐습니다.

— 시안

는 어떤 에 대해서도 얻을 수 없다고 말했습니다 . 그러나이 최고는 아래에 것처럼 어느 시점에 달성됩니다. 여기서 . 모든 대해 이라고 가정합니다 . 1. 이면 ; 2. 인 경우 입니다. 계속 ...

sup_{θ} \prod_{j} f_{1} (x_{j} | θ)

$\sup_\theta \prod_j f_1(x_j| \theta)$

θ

$\theta$

엘_{1} (θ; 엑스) = \prod_{j = 1}^{엔} {에프}_{1} ({엑스}_{j} | θ) = θ^{- 엔} \prod_{j = 1}^{엔} 나는 (0 < {엑스}_{j} < θ) = θ^{- 엔} 나는 (0 < 엠 < θ),

$L_1(\theta;x) = \prod_{j=1}^n f_1(x_j|\theta) = \theta^{-n} \prod_{j=1}^n I\big(0 < x_j < \theta\big) = \theta^{-n}I\big(0< M < \theta\big),$

M = max {x_{1}, \dots, x_{n}}

$M = \max \{x_1, \ldots, x_n\}$

x_{j} > 0

$x_j > 0$

j = 1, \dots, n

$j=1,\ldots,n$

L_{1} (θ; x) = 0

$L_1(\theta;x) = 0$

0 < θ \leq M

$0<\theta \leq M$

L_{1} (θ; x) = θ^{- n}

$L_1(\theta;x) = \theta^{-n}$

M < θ < \infty

$M < \theta < \infty$

— Alexandre Patriota

: 계속 ... 모든 대해 입니다. 최대 값은 없지만 최고 값이 존재하며 인수는 아마도 일반적인 무증상은 여기에 적용되지 않으며 다른 통행료를 사용해야합니다. 그러나 존재하거나 매우 기본적인 개념을 놓쳤습니다.

엘_{1} (θ; 엑스) \in [0, 엠^{- 엔}),

$L_1(\theta;x) \in \big[0,M^{-n}\big),$

θ \in (0, \infty)

$\theta \in (0,\infty)$

\underset{θ \in (0, \infty)}{저녁을 먹다} 엘_{1} (θ, 엑스) = 엠^{- 엔}

$\sup_{\theta \in (0,\infty)} L_1(\theta, x) = M^{-n}$

엠 = 인수 \underset{θ \in (0, \infty)}{저녁을 먹다} 엘_{1} (θ; 엑스) .

$M = \arg\sup_{\theta \in (0,\infty)} L_1(\theta;x).$

L_{1} (θ; x)

$L_1(\theta;x)$

— Alexandre Patriota

@AlexandrePatriota 최상위는 분명히 존재하지만 함수에 의해 달성되지는 않습니다. 표기법이 무엇 을 의미 하는지 잘 모르겠습니다 이므로 을 산출하는 인수가 없습니다 . MLE 어떤 것으로 정의된다 달성 (전형적)없이 가 도달 여기있다. 물론 주위 방법이 있습니다 - 우리가 할 것을 요구하는 호소 근성 있는 등 같은 앤 특성을 가진 가능성, 거기 않습니다. 그것은 단지 보다는 .

\arg sup

$\arg \sup$

L_{1} (θ; x)

$L_1(\theta; x)$

sup

$\sup$

L_{1} (θ; M) = 0

$L_1(\theta; M) = 0$

\hat{θ}

$\hat \theta$

sup

$\sup$

\hat{θ}

$\hat \theta$

sup

$\sup$

L_{2}

$L_2$

L_{1}

$L_1$

— guy