Bayesian은 고정 된 매개 변수 값이 하나 있음을 인정합니까?


39

베이지안 데이터 분석에서 파라미터는 랜덤 변수로 처리됩니다. 이것은 베이지안의 주관적인 확률 개념화에서 비롯됩니다. 그러나 베이지안은 이론적으로 '실제 세계'에 하나의 진정한 고정 매개 변수 값이 있음을 인정합니까?

명백한 대답은 '예'인 것처럼 보입니다. 그러면 매개 변수를 추정하려고 시도하는 것은 거의 의미가 없습니다. 이 답변에 대한 학술 인용은 크게 감사하겠습니다.


2
이 매개 변수를 알려 주면 분포를 정의 할 것입니다. :-)
Anne van Rossum

답변:


42

IMHO "예"! Greenland (2006 : 767)가 가장 좋아하는 인용문은 다음과 같습니다.

'매개 변수는 잦은 주의자에 의해 고정 된 것으로 간주 되나 베이지안에 의해 임의적 인 것으로 취급된다'고 종종 말합니다 (잘못된). 잦은 운동가와 베이지안의 경우 모수의 값은 처음부터 고정되었거나 물리적으로 임의의 메커니즘에서 생성되었을 수 있습니다. 두 경우 모두, 우리가 알고 싶은 고정 값을 취했다고 가정하십시오. 베이지안은 공식적인 확률 모델을 사용하여 그 가치에 대한 개인적 불확실성을 표현합니다. 이 모델에서 '무작위'는 매개 변수 값에 대한 개인적 불확실성을 나타냅니다. 매개 변수의 속성이 아닙니다 (매개 변수를 생성 한 메커니즘의 속성을 정확하게 반영하기를 바랍니다).

Greenland, S. (2006). 역학 연구를위한 베이지안 관점 : I. 기초 및 기본 방법. 국제 역학 저널 , 35 (3), 765–774.


2
약간 모순되기 때문에, 입자의 (위치, 운동량)이 우리가 추정하려고하는 "매개 변수"라고 주장 할 수 없었습니까? 이 모수의 "고정 된"값이 없으며,이를 실제로 분포로 간주해야한다고 주장 할 수 있습니다. 고정 값이 아닌 분포로 구체적으로 알려지지 않은 것은 특정 상황에서 자연이하는 것처럼 보입니다. 나는이 추론이 실제로 베이지안에게 매우 호소력이 없다고 생각하지만, 난수의 본질에 대한 어떤 논의가 필요한 OP 질문에 완전히 대답한다고 생각합니다.
guy

3
분포를 추론의 대상으로 고려할 때 '비정규'가 무엇인지 알 수 없습니다. 실제로 매개 변수를 사용하여 색인을 생성하는 것은 선택 사항입니다. 예를 들어 함수에 대한 분포를 직접 사용하여 불확실성을 주장 할 수 있습니다 (가우시안 프로세스의 Neal and Williams 참조). 확률 미적분과의 불확실성을 나타 내기 위해 '무작위'에 대한 특별한 견해를 가질 필요는 없습니다. 틀림없이 (이론) 샘플링을 기반으로 추론 않는 그러한 이론이 필요하지만, 지금까지의 내가 볼 수 Bayesianism하지 (또는 적어도 일 필요는 없습니다.)
conjugateprior

2
나는 베이지안이 모수가 고정 된 값을 가지고 있다고 가정하고 그것이 모수가 아닌 분포로 모수를 정의하게하는 것은 개인적 불확실성 뿐이라는 것에 동의하지 않습니다. 나는 내 대답에서 그것을 확장하려고 노력했다. 귀하의 개인적 / 이론적 불확실성은 분포의 일부 이지만, 귀하의 모델은 본질적으로 모델에서 제외되고 변수가 개인의 사전 우선 순위가 매우 정확하더라도 분포를 만드는 변수를 평균화하는 것으로 보입니다.
Wayne

29

확률에 대한 베이지안 개념이 반드시 주관적 일 필요는 없다 (참조 : Jaynes). 여기서 중요한 차이점은 베이지안이 그 타당한 값에 대한 사전 분포를 일부 관측치에 포함 된 정보를 요약하는 가능성과 결합하여 모수 값에 관한 지식 상태를 파악하려고 시도한다는 것입니다. 따라서 베이지안으로서, 나는 매개 변수가 정확히 알려지지 않은 진정한 가치를 가지고 있으며, 사후 분포의 목적은 그 타당한 가치에 대해 내가 아는 것을 요약하는 것입니다. 나의 이전의 가정과 관찰에 근거합니다.

이제 모델을 만들 때 모델이 현실이 아닙니다. 따라서 어떤 경우에는 문제의 매개 변수가 실제로 존재합니다 (예 : 웜뱃의 평균 무게) 그리고 어떤 질문에서는 그렇지 않습니다 (예 : 회귀 매개 변수의 실제 값-회귀 모델은 결과의 모델 일뿐입니다) 시스템을 관장하는 물리 법칙, 실제 회귀 모델에 의해 완전히 파악되지 않을 수 있음) 따라서 실제 세계에 하나의 고정 고정 매개 변수 값이 있다고해서 반드시 사실은 아닙니다.

반대로, 나는 대부분의 빈번한 사람들이 통계에 대한 하나의 진정한 가치가 있다고 말할 것이지만, 그것이 무엇인지 알지 못하지만 추정치에 대한 추정치와 추정치에 대한 신뢰 구간이 있습니다 (어떤 의미에서) )은 다른 값의 타당성에 대한 불확실성을 정량화합니다 (그러나 확률에 대한 빈번한 개념은이를 직접적으로 표현하지 못하게합니다).


나는 항상 "주관적 확률"이 주관적이라고 생각했다. 왜냐하면 그것들 은 객관적인 현실의 속성 (예를 들어, 완벽하지 않은 주사위의 무게 분포)보다는 계산을 수행하는 대상속성 (즉, 그녀의 지식) 을 참조하기 때문이라고 생각 했다.
nikie

1
@nikie에는 객관적인 방식으로 사전을 정의하기위한 MaxEnt 및 변환 그룹과 같은 원칙이 있습니다. 이 경우 계산은 누가 또는 무엇을 계산하고 있는지에 관계없이 동일한 대답을 제공합니다 (로봇은 같은 결론에 도달 함). 가설 검정에 대해 를 설정하는 방법과 같이 빈번한 통계는 주관성이없는 것이 아니라 "타당성 정도"(IIRC)보다는 "개인적 확률 / 신념"의 의미에서 통계에서 주관성을 제거하려는 의도였습니다. . α
Dikran Marsupial

알아요.하지만 여전히 주관적 확률입니다. 그들은 여전히 ​​일부 매개 변수에 대한 주제의 지식을 설명하고 있기 때문에 (빈번한 사람들에게는 무작위 변수가 아닐 것입니다)
nikie

반드시 주제가있는 것은 아닙니다. 로봇 또는 컴퓨터 세트는 빈번주의 또는 객관주의 베이지안 접근 방식을 사용하든 모두 동일한 계산을 수행하고 동일한 결론에 도달 할 수 있습니다. 그것은이다 관계없이 객관적이 아니라 주관적이다 왜 계산을 수행하는 주체의 지식의 상태입니다.
Dikran Marsupial

16

핵심적으로 , Bayesian Data Analysis (3 판, 93)에서 Gelman은 다음과 같이 씁니다.

베이지안 데이터 분석의 관점에서, 우리는 종종 고전적인 점 추정치를 암시 적 완전 확률 모델을 기반으로 정확한 또는 근사적인 후방 요약으로 해석 할 수 있습니다. 큰 표본 크기의 한계에서 실제로, 우리는 점근 론을 사용하여 고전적인 최대 우도 추정에 대한 이론적 베이지안 정당성을 구성 할 수 있습니다.

따라서 실제로 단일 실제 모수 값이 있음을 "인정"해야하는 베이지안은 아니지만 추정 절차를 정당화하기 위해 베이지안 통계에 호소해야하는 빈번한 사람들도 있습니다! (뺨에 혀로 단단히 말하고 있습니다.)

따로, 나는 베이지안 통계가 주관적 확률을 전제로하고, 베이 즈가 주관적이며 다른 추론 적 패러다임이 아니라는 함의 담요 진술에 반대한다. 그것은 아마도 "베팅의 일관성"주장의 관점을 포함하여 제기 될 수있는 하나의 주장이지만, 여기서 "Bayesian"을 사후 분포 를 사용하는 통계학 자로 정의하는 Gelman을 참조하십시오 . 그리고 여기에 그는 지나치게 제한 정의에 대해 주장 곳.Pr(θ|y)

그러나 자연이나 사회 시스템에 단일 매개 변수가 있다는 아이디어는 단순한 가정입니다. 관찰 가능한 결과를 생성하는 화려한 프로세스가있을 수 있지만 시스템이 엄청나게 복잡하다는 것을 발견했습니다. 고정 된 단일 매개 변수 값이 있다고 가정하면 문제가 크게 단순화됩니다. 나는 이것이 당신의 질문의 핵심을 삭감한다고 생각합니다.


베이지안 추론이 주관적 확률을 기반으로 거부하는 이유를 자세히 설명해 주시겠습니까? 내가 읽은 입문 (Kruschke, Lynch)은 모두 그런 식으로 틀을 이루는 것 같습니다. 부분적으로 만 주관적인 것입니까 (이전의 것)?
ATJ

@ATJ 나는 이것이 나의 요점을 분명히하기를 바랍니다. 나아갈 수있는 다른 주장들이 있지만, 저에게있어 가장 중요한 점은 베이지안 통계가 다른 패러다임이 아닌 방식으로 주관적이라는 암묵적인 가정이었습니다 . 예를 들어, 나는 후 변동의 틀에 대한 편견없는 점 추정 방법을 선호하는 것이 "개인적"인 것처럼 보이므로 Bernd의 인용문의 특성에 반대 할 것이다.
복원 상태 Monica

@ATJ, 소개 텍스트는 방법에 동기를 부여하는 이야기를합니다. 그 이야기와 같은 것이 원래 방법에 동기를 부여했을 수 있습니다. 그러나 이것이 그 이야기가 사람들이 그러한 방법을 실제로 적용 할 때 취하는 가정에 많은 영향을 미친다는 것을 의미하지는 않습니다. (그리고 이야기는 말도 안될 수도 있습니다. 예를 들어, 통계 관련 확률은 입문 잦은 텍스트가 종종 말이 안되는 방식으로 빈도에 따라 정의 될 수 있습니다. Google Alan Hajek의 "15 Arguments"논문 그것은 빈번한 통계가 효과가 없다는 것을 의미하지는 않습니다.)
Mars

8

아이의 성장에 우유를 마시는 것이 기여하는 것과 같은 하나의 "진정한 고정 변수"가 있다고 생각하십니까? 또는 환자의 몸에 주사하는 화학 물질 X의 양에 따라 종양 크기가 줄어드는 경우? 익숙한 모델을 선택하고 이론적으로도 각 매개 변수에 대해 사실적이고 보편적이며 정확하고 고정 된 값이 하나 있다고 생각하는지 스스로에게 물어보십시오.

측정 오류를 무시하고 모든 측정이 완벽하고 정확하고 무한한 것처럼 모델을 살펴보십시오. 모델을 고려할 때 각 매개 변수가 실제로 특정 점 값을 가지고 있다고 생각하십니까?

모델이 있다는 사실은 일부 세부 정보가 빠져 있음을 나타냅니다. 모델을 만들기 위해 남겨둔 매개 변수 / 변수를 평균화하여 모델을 현실화하기 때문에 모델에 부정확 한 부분이 있습니다. (지구의 1 : 1 맵을 만들지 않고 모든 세부 사항이 아닌 1 : 10000000 맵 또는 이와 같은 단순화로 완성하십시오. 맵은 모델입니다.)

남은 변수를 평균화하는 경우 모델에 포함하는 변수의 매개 변수는 점 값이 아니라 분포입니다.

그것은 이론적 불확실성, 측정 불확실성, 사전 등을 무시하고있는 베이지안 철학의 한 부분 일뿐입니다. 그러나 설명 통계가 분포.


6

그러나 베이지안은 이론적으로 '실제 세계'에 하나의 진정한 고정 매개 변수 값이 있음을 인정합니까?

내 의견으로는, 대답은 '예'입니다. 매개 변수의 값이 알려지지 않았 으며 이전 분포는 이에 대한 지식 / 불확실성을 설명합니다. 베이지안 수학적 모델링에서, 은 이전 분포에 따른 랜덤 변수의 실현으로 간주됩니다.θ0θ0


2

베이 시안주의를 결정 론적 우주와 연결시키고 ( '양자'라는 단어로 무엇이든 말하기 전에 유머러스하고 이것이 물리학이 아니라는 것을 기억하십시오) 우리는 흥미로운 결과를 얻습니다.

우리의 가정을 명확하게하기 :

  1. 우리는 결정 론적 우주의 일부가되고 관찰되는 베이지안 요원을 가지고 있습니다.
  2. 에이전트는 계산 자원이 제한되어 있습니다.

이제 결정 론적 우주는 원자가 뉴턴의 작은 당구 공일 수 있습니다. 전적으로 비양 자일 수 있습니다. 그렇다고합시다.

요원은 이제 공정한 동전을 뒤집습니다. 결정 론적 우주에서 공정한 동전은 무엇을 구성합니까? 확률 비가 50/50 인 동전?

그러나 결정적입니다! 충분한 컴퓨팅 성능을 통해 동일한 방식으로 동전이 뒤집힌 모델을 시뮬레이션하여 동전이 어떻게 착륙 할 것인지 정확하게 계산할 수 있습니다.

결정 론적 우주에서 공정한 동전은 균일 한 밀도를 가진 금속 디스크 일 것입니다. 어느 한 쪽이 다른 쪽보다 아래로 향한 상태에서 더 많은 시간을 보내도록 강요하지 않습니다 (가중 주사위의 기능에 대해 생각하십시오).

그래서 요원은 공정한 동전을 뒤집습니다. 그러나 에이전트는 충분히 강력하지 않습니다. 동전을 뒤집을 때 동전이 어떻게 회전하는지 측정하기에 충분한 눈이 없습니다.

그리고 "이 동전은 50 %의 확률로 머리를 뜰 것입니다."라고 말합니다. 정보 부족은 확률로 이어집니다.

우리는 동전을 던지는 방법의 위상 공간을 볼 수 있습니다. 던지는 방향, 던지는 힘, 동전의 회전, 바람의 속도 및 방향 등과 관련된 축을 가진 큰 다차원 좌표계. 이 공간의 단일 지점은 가능한 단일 코인 플립에 해당합니다.

주어진 던지기마다 에이전트의 헤드 확률 할당에 해당하는 그레이 스케일 그라디언트로 좌표 시스템에서 에이전트에 색상을 지정하도록 요청하면 대부분 균일 한 회색 음영으로 색상이 지정됩니다.

헤드의 확률을 계산할 수있는 더 강력한 내부 컴퓨터를 점차 제공하면 점점 더 많은 색채를 만들 수 있습니다. 마침내 가장 강력한 내부 컴퓨터를 제공하여 전지를 만들면 이상한 바둑판을 효과적으로 칠할 수 있습니다.

공정한 동전은 확률로 만들어지지 않으며 금속으로 만들어집니다. 확률은 계산 구조에만 존재합니다. 베이지안이라고합니다.


-3

예를 들어 Jeffreys와 같은 부적절한 사전이있어 Fishers Information 매트릭스와 특정 관계가 있습니다. 그렇다면 주관적이지 않습니다.


2
Jeffreys의 이전과 Fisher 정보 매트릭스와의 관계가 베이지안 추론이 주관적이지 않음을 어떻게 의미하는지 자세히 설명해 주시겠습니까? 내가 이해했듯이 Jeffreys의 이전 버전을 사용하는 주된 이유는 모델의 대체 매개 변수화에 변하지 않기 때문입니다. 또한 다차원적인 환경에서 이러한 Jeffreys의 이전 정보는 매우 유익 할 수 있으며 결과는 논란의 여지가 있습니다 (Gelman, BDA 3, p. 53). 이것이 '객관성'을 훼손합니까?
복원 상태 Monica

@ user777, 그것은 밀도의 매개 변수를 기반으로하기 때문에 객관적입니다. 가능성에 1을 곱한다고 가정하면 확률에 앞서 서브 제트를해야합니까? 사후 확률은 이전 x 가능성과 관련이 있기 때문입니다.
애널리스트

그리고 종종 그들은 가능성을 사용하려면 진정한 모델의 공리를 불러야합니다 ... :)
Analyst
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.