가능성에 대한 위키 백과 입장은 모호해 보인다


26

"조건부 확률"과 "가능성"에 관한 간단한 질문이 있습니다. (나는 이미이 질문을 조사했다 여기 지만 아무 소용에.)

Wikipedia 페이지에서 시작합니다 . 그들은 이렇게 말합니다.

가능성 파라미터 값들의 세트는 , 소정의 결과 이며, 이러한 파라미터 값 주어진 이러한 관찰 결과의 확률 같다θx

L(θx)=P(xθ)

큰! 따라서 영어, I 같이 숙지 "세타 같게 변수의 우도 데이터 X = X (좌측면) 부여, X와 동일하고, 데이터 X의 확률로 동일한 특정 매개 변수 그 세타와 같습니다 " ( 굵은 글씨는 강조하기위한 것입니다 ).

그러나 같은 페이지에서 3 줄 이상을 지나면 Wikipedia 항목은 다음과 같이 말합니다.

하자 이산 확률 분포를 가진 확률 변수 일 수 파라미터에 따라 . 그런 다음 기능Xpθ

L(θx)=pθ(x)=Pθ(X=x),

의 함수로 간주되는 확률 함수 ( 임의 변수 의 결과 가 주어지면 의 함수)라고합니다 . 때때로 값의 확률 의 파라미터 값 로 기록된다 ; 이것은 종종 로 작성되어 이것이 조건부 확률이 아닌 과 다르다는 것을 강조하기 위해 입니다. 는 임의의 변수가 아니라 매개 변수 이기 때문 입니다.θθxXxXθP(X=xθ)P(X=x;θ)L(θx)θ

( 굵은 글씨는 강조하기위한 것입니다 ). 그래서 첫 번째 인용에서, 우리는 문자 그대로 의 조건부 확률에 대해 말하지만, 그 직후에는 이것이 실제로 조건부 확률이 아니며 실제로 ?P(xθ)P(X=x;θ)

그래서 어느 쪽입니까? 가능성은 실제로 첫 번째 인용문 인 조건부 확률을 의미합니까? 아니면 두 번째 인용문과 비슷한 단순한 확률을 의미합니까?

편집하다:

지금까지받은 모든 도움이되고 통찰력있는 답변을 바탕으로 내 질문과 내 이해를 요약했습니다.

  • 에서 영어 "가능성이 관측 된 데이터을 부여한 매개 변수의 함수이다."우리는 말 에서는 수학 : 우리 다 쓰고 .L(Θ=θX=x)
  • 가능성은 확률이 아닙니다.
  • 가능성은 확률 분포가 아닙니다.
  • 가능성은 확률 질량이 아닙니다.
  • 우도 그러나이다 영어 "어디에서 확률 분포의 곱 (연속 케이스) 또는 확률 질량의 곱 (이산 경우) 및 파라미터 로 . " 에서는 수학 , 우리는 다음과 같은 것이 해주기 (연속적인 경우, 는 PDF 임) 및 (이 경우 는 확률 질량 임) 여기서의 테이크 아웃은 어떤 시점에서도Θ = θ L ( Θ = θ X = x ) = f ( X = x ; Θ = θ ) f L ( Θ = θ X = x ) = P ( X = x ; Θ = θ ) PX=xΘ=θL(Θ=θX=x)=f(X=x;Θ=θ)f
    L(Θ=θX=x)=P(X=x;Θ=θ)P 조건부 확률은 전혀 작용하지 않습니다.
  • 베이 즈 정리에서, 우리는 : . 구어체로, 우리는 이야기되는 " 가능성이다", 그러나 이것은 사실이 아니다 이후, 될 가능성이있는 실제 랜덤 변수. 그러나 우리가 올바르게 말할 수있는 것은이 용어 는 단순히 가능성과 "유사하다"는 것입니다. (?) [이건 확실하지 않습니다.] P(X=xΘ=θ)ΘP(X=xΘ=θ)P(Θ=θX=x)=P(X=xΘ=θ) P(Θ=θ)P(X=x)P(X=xΘ=θ)ΘP(X=xΘ=θ)

편집 II :

@amoebas 답변을 바탕으로 그의 마지막 의견을 작성했습니다. 나는 그것이 분명히 설명하고 있다고 생각하며, 내가 가지고 있었던 주요 논쟁을 해결한다고 생각합니다. (이미지에 대한 의견).

여기에 이미지 설명을 입력하십시오

편집 III :

@amoebas 의견을 Bayesian 사례로 확장했습니다.

여기에 이미지 설명을 입력하십시오


이미 두 가지 좋은 답변을 받았지만 stats.stackexchange.com/q/112451/35989
Tim

@Tim 우수한 링크 감사합니다! 불행히도 나는 가능성에 대한 구체적인 질문과 그것이 활용되는 것처럼 보이는 조건부 확률 (?)에 대해 여전히 불분명 합니다. 이것에 대해서는 여전히 불분명합니다. :-/
Creatron

2
"주어진 것"이 항상 조건부 확률을 의미하는 것은 아닙니다. 때때로이 문구는 단지 어떤 기호가 계산에서 또는 개념적으로 고정되도록 의도 된 것인지를 나타내려는 시도 일뿐입니다.
whuber

2
어떤 사람들은 실제로 세미콜론과 같은 활자체 규약을 사용합니다. 아래 첨자, 위첨자 등 많은 규칙이 있습니다. 종종 문맥 상 또는 그들이하는 일에 대한 텍스트 설명에서 누군가가 무엇을 의미하는지 알아 내야합니다.
whuber

4
경우 (즉, 고려 값 랜덤 변수에서 발생하는 임의의 변량이다 ), 우도의 정의가 변경 아무것도. 여전히 가능성입니다. 논리적으로, 이것은 파란 나비가 여전히 나비라고 말하는 것과 다르지 않습니다. 기술적 으로공동 배포에 대한 문제를 제기합니다 . 조건부 확률로 가능성을 식별하기 전에이 공동 분포를 잘 정의하고 특정 "정규 조건"을 누려야합니다. Θ Θ xθΘΘx
whuber

답변:


18

나는 이것이 불필요하게 헤어를 분할한다고 생각합니다.

조건부 확률 의 주어진 두 개의 랜덤 변수의 정의 및 값을 가지고 및 . 그러나 우리는 또한 확률에 대해 이야기 할 수 의 주어진 곳 하지 임의의 변수 만 매개 변수입니다.x y X Y x y P ( x θ ) x θ θP(xy)P(X=xY=y)xyXYxyP(xθ)xθθ

두 경우 모두 동일한 용어 "주어진"및 동일한 표기법 사용할 수 있습니다. 다른 표기법을 발명 할 필요가 없습니다. 또한 "매개 변수"와 "무작위 변수"는 철학에 따라 달라질 수 있지만 수학은 바뀌지 않습니다.P()

Wikipedia의 첫 번째 인용문은 로 정의되어 있습니다. 여기서 는 매개 변수 라고 가정합니다 . 두 번째 인용문은 이 조건부 확률 이 아니라고 말합니다 . 이것은 주어진 의 조건부 확률이 아님을 의미합니다 . 는 여기서 매개 변수로 간주 되기 때문에 실제로는 불가능합니다 .θ L ( θ x ) θ x θL(θx)=P(xθ)θL(θx)θxθ

베이 즈 정리 하여 와 는 모두 랜덤 변수입니다. 그러나 우리는 여전히 호출 할 수 있습니다 (의 "가능성" ), 지금은 또한이다 선의 (의 조건부 확률 ). 이 용어는 베이지안 통계에서 표준입니다. 아무도 그것이 가능성에 "유사한"것이라고 말하지 않습니다. 사람들은 단순히 그것을 가능성이라고 부릅니다.abP(ba)ab

P(ab)=P(ba)P(a)P(b),
abP(ba)ab

참고 1 : 마지막 단락에서 는 분명히 의 조건부 확률입니다 . 가능성 로서 ; 하지만의 확률 분포 (또는 조건부 확률)하지 ! 이상 자사의 통합 반드시 동일하지 않습니다 . ( 보다 적분이있는 반면 )b L ( a b ) a a a 1 bP(ba)bL(ab)aaa1b

참고 2 : 때때로 가능성은 @MichaelLew에 의해 강조되는 것처럼 임의의 비례 상수까지 정의됩니다 (대부분 사람들이 가능성 비율에 관심이 있기 때문에 ). 이것은 유용 할 수 있지만 항상 수행되는 것은 아니며 필수적인 것은 아닙니다.


참조 "가능성"과 "가능성"의 차이점은 무엇입니까? 특히 @whuber의 답변이 있습니다.

이 스레드에서 @Tim의 답변에 완전히 동의합니다 (+1).


1
가능성 그래서, 사실, 정확한, (마지막 단락에 따라), 조건부 확률과 동일? 이것이 내가 제곱하려고하는 것입니다. 예를 들어 첫 번째 답변 중 하나에서 다음 과 같은 결과를 얻습니다 . "우연성은 비례 상수까지만 정의되므로 매개 변수 값이 주어지면 데이터의 확률과 일반적으로 같을 수 없습니다 . Fisher는 최초의 공식적 가능성 (Fisher, 1922). "이것이 내가 제곱하려고하는 것입니다. 가능성은-가능성은 조건부 확률과 동일 할 수 있습니까?
Creatron

@Creatron 나는 대답에 두 개의 메모를 추가했습니다. 그들은 그것을 명확하게합니까?
amoeba는

1
주 1과 관련하여 : 조건부 확률 분포이고 확률 분포가 될 수 없으므로 다음과 같이 방정식을 작성할 수있는 가장 '올바른'방법 인 것 같습니다. 이러한 맥락에서 가능성은 이며, 아닙니다 . (최적화에서 이것이 차이가 없다는 것을 알고 있지만 가능성이 무엇인지의 정확성을 낮추려고합니다.) 내 이해가 맞습니까? 양해 해 주셔서 감사합니다. L ( a | b ) L ( a | b ) P ( b | a ) L ( a | b ) = P ( b | a )P(b|a) L(a|b) L(a|b)P(b|a)L(a|b)=P(b|a)
Creatron

1
@Creatron 여기에 몇 가지 뚜렷한 문제가 혼동되고 있다고 생각합니다. 나는 당신이 베이 즈 정리 설정 (내 노트 1이 말하는 것)에 대해 이야기하고 있다고 가정합니다. 여기서 와 는 무작위 이벤트입니다. 좋아, 의 조건부 확률 분포 주어진 . 그러나 의 함수로 볼 수하도록되어 하지의, ! 그리고 그것은의 확률 분포하지 가 하나의 합이되지 않기 때문에. 이것은 문제 또는 비례와 관련이 없습니다 (제 노트 2입니다). 라고 쓸 수 있다고 생각 합니다. b P ( b | a ) b a L ( a | b ) a b a L ( a | b ) = P ( b | a )abP(b|a)baL(a|b)abaL(a|b)=P(b|a)
아메바의 말에 따르면 Reinstate Monica는

1
아메바, 감사합니다 !! 당신은 저에게 그러한 개념을 매듭 짓는 데 도움이되었습니다. 정말 감사합니다 !! :) 방금 다이어그램을 베이지안 사례로 "확장"했으며, 그 점을 올바르게 이해했는지 의견을 보내 주셔서 감사합니다. 나는 또한 당신의 대답을 받아 들였습니다. 다시 한번, 은혜롭게!
Creatron

10

당신은 이미 두 가지 좋은 답변을 얻었지만 여전히 명확하지 않기 때문에 하나를 제공해 드리겠습니다. 가능성 은 다음과 같이 정의됩니다

L(θ|X)=P(X|θ)=ifθ(xi)

데이터 주어지면 매개 변수 값 가있을 가능성 이 있습니다 . 그것은 확률 질량 (분리 된 경우), 또는 밀도 (연속 케이스)의 제품 기능과 동일하다 의 에 의해 매개 변수화 . 가능성은 데이터가 주어진 매개 변수의 함수입니다. 공지 사항 것을 우리가 최적화되어있는 매개 변수입니다 하지 그것에 할당 된 확률이없는, 그래서 임의의 변수입니다. 이것이 Wikipedia가 조건부 확률 표기법을 사용하는 것이 임의의 변수에 의존하지 않기 때문에 모호 할 수 있다고 말하는 이유입니다. 다른 한편으로는, 베이지안에서 설정 ISX f X θ θ θθ XfXθθθ 임의의 변수에 분포가 있으므로 다른 임의의 변수와 마찬가지로 변수를 사용할 수 있으며 Bayes 정리를 사용하여 사후 확률을 계산할 수 있습니다. 베이지안 우도는 모수에 대한 데이터의 우도에 대해 알려주기 때문에 여전히 우도입니다. 유일한 차이점은 모수가 임의 변수로 간주된다는 것입니다.

프로그래밍을 알고 있다면 프로그래밍에서 오버로드 된 함수 로 우도 함수를 생각할 수 있습니다 . 일부 프로그래밍 언어를 사용하면 다른 매개 변수 유형을 사용하여 호출 할 때 다르게 작동하는 기능을 가질 수 있습니다. 이와 같은 가능성을 생각하면 기본적으로 if는 일부 매개 변수 값을 인수로 사용 하고이 매개 변수가 주어진 데이터의 가능성을 반환합니다. 다른 한편으로, 매개 변수가 임의 변수 인 베이 지안 설정에서 이러한 기능을 사용할 수 있습니다. 이는 기본적으로 동일한 출력으로 이어지지 만 임의 변수를 조건화하기 때문에 조건부 확률로 이해할 수 있습니다. 두 경우 모두 기능이 동일하게 작동하므로 사용하고 조금 다르게 이해하면됩니다.

// likelihood "as" overloaded function
Default Likelihood(Numeric theta, Data X) {
    return f(X, theta); // returns likelihood, not probability
}

Bayesian Likelihood(RandomVariable theta, Data X) {
    return f(X, theta); // since theta is r.v., the output can be
                        // understood as conditional probability
}

게다가 베이 즈 정리를 다음과 같이 쓰는 베이지안을 찾지 못할 것입니다.

P(θ|X)L(θ|X)P(θ)

... 이것은 매우 혼란 스러울 것 입니다. 첫째, 방정식의 양쪽에 가 있고 의미가 없습니다. 둘째, 우리는 주어진 데이터의 주어진 확률에 대해 알 수 있는 사후 확률 집니다 (즉, 가능성 론 프레임 워크에서 알고 싶은 것이지만, 가 랜덤 변수가 아닌 경우는 아닙니다). 셋째, 는 랜덤 변수이므로 조건부 확률로 작성합니다. θ θθ|XθθLθL-표기는 일반적으로 가능성 설정을 위해 예약되어 있습니다. 이름 가능성은 두 가지 접근 방식 모두에서 관례에 따라 비슷한 것을 나타냅니다. 모델과 매개 변수에서 이러한 데이터 변경을 관찰하는 확률.


고마워 팀, 이것은 내 이해에 매우 도움이되었습니다. 나는이 새로운 지식으로 내 질문 ( "편집"아래 참조)을 다시 정리했습니다. 나는 내가 지금 쓴 모든 것이 사실이라고 믿는다. 유일한 규칙은 Bayes 규칙 목록의 마지막 지점입니다. 당신이 볼 수 있다면 나는 그 점을 높이 평가할 것입니다. 다시 한 번 감사드립니다.
Creatron

1
@Creatron 나는 내 대답에 마지막 글 머리 기호를 언급하는 문장을 추가했습니다.
Tim

(1/2) 오버로드 된 연산자를 편집하면 많은 도움이됩니다. 이 경우에, 우리는 다음과 같이 말할 수있을 것 같습니다 : 1) '수학적으로 순수한'(피셔가 의미하는 의미에서 역사적 사례)에서, 는 임의의 변수가 아니라 대신 PDF의 모수 (또는 모수의 함수?) 인 경우 가능성은 의 확률 과 같습니다 . 우도 함수는 확률 분포는 아니지만 확률과 동일 합니다. 이 올바른지? P ( X = x ; θ ) P ( X = x ; θ )θP(X=x;θ)P(X=x;θ)
Creatron

(2/2) 그러나 두 번째 경우, (2), 문맥 이 베이지안 설정일 때,이 경우에 우리의 모수는 rv이고,이 경우 가능성은 실제로 조건부 확률 분포입니다. 그러나 P (b | a)는 L (a | b)로 작성됩니다. 따라서 첫 번째 '기본'의 경우 가능성은 확률 분포가 아니었지만 (확률 값과 같음) 두 번째 경우의 가능성은 실제로 확률 분포이며 확률 분포는 조건부입니다. 확률은 P (b | a)로 작성됩니다. 이 올바른지?
Creatron

2
Tim에게 감사합니다. @amoeba의 답변을 수락했지만 귀하의 게시물은이 다양하고 깊은 개념을 이해하는 데 도움이되었습니다. 다시 감사합니다!
Creatron

7

혼동을 유발하는 방식으로 세부 사항이 부정확하거나 생략 된 가능성에 대한 일반적인 설명에는 몇 가지 측면이 있습니다. Wikipedia 항목이 좋은 예입니다.

첫째, 우도는 비례 상수까지만 정의되므로 모수는 일반적으로 모수 값이 주어진 데이터의 확률 과 같을 수 없습니다 . 피셔는 처음 가능성을 공식화했을 때 그 점에 대해 명백했다 (Fisher, 1922). 그 이유는 우도 함수의 적분 (또는 합)에 대한 제한이 없으며, 모수의 값이 주어지면 통계 모델 내에서 데이터 를 관측 할 확률 이 크게 영향을 받기 때문입니다. 데이터 값의 정밀도 및 매개 변수 값 지정의 입도x

둘째, 개별 가능성보다 가능성 기능에 대해 생각하는 것이 더 도움이됩니다. 우도 함수는 우도 함수의 그래프에서 알 수 있듯이 모형 모수 값의 함수입니다. 이러한 그래프는 또한 가능성이 모델이 매개 변수 값으로 설정 될 때 모델이 데이터를 얼마나 잘 예측하는지에 따라 매개 변수의 다양한 값의 순위를 매길 수 있음을 쉽게 알 수있게합니다. 가능성 함수의 탐구는 원래의 질문에 주어진 다양한 공식의 동요보다 데이터의 역할과 매개 변수 값을 훨씬 더 명확하게 만듭니다.

모수 값 (모형 내)에 대해 관측 된 데이터가 제공하는 상대적인 지지도는 비율이 상쇄되므로 알 수없는 비례 상수의 문제를 해결할 수 있으므로 우도 함수 내에서 우도 쌍의 비율을 사용하십시오. 상수가 별도의 우도 함수 (예 : 다른 통계 모델)에서 비롯된 우도 비율에서 반드시 취소되는 것은 아니라는 점에 유의해야합니다.

마지막으로, 가능성은 통계 모델과 데이터에 의해 결정되므로 통계 모델의 역할에 대해 명시 적으로 설명하는 것이 유용합니다. 다른 모형을 선택하면 다른 우도 함수를 얻게되며 다른 알려지지 않은 비례 상수를 얻을 수 있습니다.

따라서, 원래의 질문에 대답하기 위해, 가능성은 어떤 종류의 가능성도 아니다. 그들은 Kolmogorov의 확률 공리에 순종하지 않으며 다양한 유형의 확률에 의해 수행되는 역할과 추론을 통계적으로 뒷받침하는 데 다른 역할을합니다.

  1. Fisher (1922) 통계의 수학적 기초 http://rsta.royalsocietypublishing.org/content/222/594-604/309

1
게시물의 첫 번째 줄은이 주제에 대한 좌절감을 요약합니다. 어쨌든 귀하의 게시물에 따라 몇 가지 질문이 있습니다. 1) 베이지안 수식은 종종 . 여기서 우리는 가 '우연성'이고 가 '선행 적' 이라고 말합니다 . 가능성이 확률이 아니면이 진술이 거짓입니까? 2) 질문에 대한 나의 동기는 필연적으로 가능성을 (시각적으로) 구체적인 (조건부) 확률과 연결하는 최대 가능성 추정기를 도출하는 것입니다. 이 두 가지 예를 감안할 때 어떻게 조정해야합니까? 감사. P(a|b)=P(b|a)P(a)P(b)P(b|a)P(a)
Creatron

@Creatron 1. 아니요, 진술이 반드시 틀린 것은 아닙니다. 우도 함수는 증거가 계산에 입력되는 방식이며 확률 분포와 결합하여 확률 분포를 산출합니다. 이와 관련하여, 미지의 비례 상수는 문제가되지 않으며, 이는 우도 함수와 사전 확률 분포의 곱이 올바른 단일 적분 (또는 합)을 갖도록 임의로 스케일되기 때문이다.
Michael Lew

2. 최대 우도 추정치를 찾는 조건에서는 조건부 확률을 사용할지 또는 우도를 사용할 지에 관계없이 매개 변수 값의 전체 범위에 비례하므로 차이가 없습니다.
Michael Lew

1
그러면 는 기술적으로 잘못 되었지만 는 기술적으로 공식적으로 정확 하다고 말할 수 있습니까 ? 그게 전부입니까? L(θ|x)=P(x|θ)L(θ|x)P(x|θ)
Creatron

Micheal Lew에게 감사합니다. 귀하의 게시물이이 문제를 이해하는 데 큰 도움이되었습니다.
Creatron

7

위키가 있다고해야 의 조건부 확률 아니다 일부 지정된 세트에있는,도의 확률 밀도 . 무한히 많은 값이있는 경우 실제로 파라미터 공간에서 사용자가 가질 수 가짐으로써, 예를 들어 의 값에 관계없이 매개 변수 공간 에 표준 측정 값 가있는 경우와 동일한 방식으로 가질 수 있습니다 이 기사에서 강조해야 할 핵심은L(θ)θθθ

θL(θ)=,
L(θ)=1θdθΘ
ΘL(θ)dθ=.
L함수
θP(xθ) and NOT xP(xθ).

2
+1하고 내 답변을 편집 해 주셔서 감사합니다. 나는 \mid존재하는 것을 잊었다 .
amoeba는

@amoeba : 기꺼이 도와 드리겠습니다.
Michael Hardy

3

"나는 이것을 다음과 같이 읽었다 :"데이터 X = x, (왼쪽)의 세타와 같은 파라미터의 가능성은 데이터 X가 x와 같을 가능성이 같다. 세타 "(굵게 강조)

그것은 관찰 세트의 확률이다 주어진 매개 변수 세타입니다. 를 쓴 다음 을 작성하기 때문에 혼란 스러울 수 있습니다.P(x|θ)L(θ|x)

객관적인 설명은 가 임의의 변수가 아니라는 것을 암시 합니다. 예를 들어, 베이지안 설정에서 사전 분포가있는 임의 변수 일 수 있습니다. 그러나 요점 은 구체적인 가치 인 가정 한 다음 관측 가능성에 대해 진술하는 것입니다. 우리가 관심있는 시스템 에는 값이 하나뿐이기 때문 입니다.θθ=θθ


좋아, 그래서 나는 이것을 바탕으로 결론을 내린다. i) Wikipedia의 첫 번째 이미지는 (적어도 내 지식으로는) 는 항상 조건부 확률로 읽히고 그들이 원하는 것 때문에 잘못 되었기 때문에 잘못 되었다 말하자면, 그것은 "이 세타에 주어진 데이터의 확률"이 아니라, 오히려 "이 세타에 의해 매개 변수화 된 데이터의 확률"이라는 것이다. 이 올바른지? 감사. (가 보인다 요약하자면 .P(a|b)L(θ|x)=P(X=x;θ)
Creatron

그러나 이것은 베이지안 공식에서 이므로 때문에 문제가됩니다. 실제로 가능성입니다 (실제로 조건부 확률입니다). 그러나 이것은 우리가 방금 말한 것과 모순되며 이미지 2에서 위키의 말과 모순됩니다.P(a|b)=P(b|a) P(a)P(b)P(b|a)
Creatron

θ x L L θL(θ|x):=P(x|θ) . IS의 왼쪽에 의 우리가 생각하는 것을 강조하고 의 함수로 매개 변수 우리가 최적화를 바랍니다. 따라서 모순이 없습니다. θxLLθ
Alex R.

: = 의 오른쪽 이 조건부 확률입니까? P ( x | θ )L(θ|x)P(x|θ)
Creatron

이것은 지금 나에게 더 의미가 있습니다. 초기 도움, @Alex에 감사드립니다.
Creatron
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.