베이지안 통계는 이전의 부재를 어떻게 처리합니까?

16

이 질문은 제가 최근에 이력서 에서 두 개, 경제 에서 다른 두 가지 상호 작용에서 영감을 얻었습니다 .

나는 대답이 게시 한 잘 알려진 "봉투 역설"(당신을 마음을하지로를 "정답"하지만 상황의 구조에 대해 특정 가정에서 흐르는 답변으로). 얼마 후 사용자가 비판적인 의견을 게시하고 그의 요점을 이해하려고 대화에 참여했습니다. 그가 베이지안 방법을 생각이 분명했습니다, 그리고 전과에 대해서 이야기 유지 - 그리고 다음 날 떠올랐다, 나는 내 자신에게 말했다 : "잠깐만, 사전에 대해 아무것도했다? 길에서 내가 공식화 한을 문제는, 여기에 사전이 없습니다, 그들은 단지 사진을 입력하지 않으며, 필요하지 않습니다 ".

최근 CV에서 통계적 독립성의 의미에 대한 이 답변을 보았습니다 . 저자에게 그의 문장을 언급했습니다

"... 사건들이 통계적으로 독립적이라면 (정의에 의해) 우리는 하나가 다른 것을 관찰하는 것에 대해 배울 수 없습니다."

끔찍하게 틀렸다. 의견 교환에서 그는 (그의 말) 문제로 계속 돌아 왔습니다.

"학습"은 다른 사람의 관찰에 근거하여 사물에 대한 우리의 믿음을 바꾸는 것을 의미하지 않습니까?

다시 한 번 그가 베이지안 방식을 생각하고 있으며, 우리가 일부 신념 (즉, 이전)으로 시작한다는 자명함을 고려한 다음 문제는 우리가 그것들을 어떻게 변경 / 업데이트 할 수 있는지에 관한 것입니다. 그러나 첫 번째 믿음은 어떻게 창조됩니까?

과학은 현실과 일치해야하므로, 관련된 인간에게는 사전이없는 상황이 존재한다는 점에 주목한다 (한 가지 경우, 항상 사전없이 상황에 들어간다. 단지 그것을 모르고, 여기에 가짜 정신 분석을 해 보자.)

"정보가없는 사전"이라는 용어를들은 이후로, 나는 두 부분으로 내 질문을 나누고, 베이지안 이론에 정통한 여기의 사용자들이 내가 무엇을 물어볼 것인지 정확히 알고 있다고 확신합니다.

Q1 : 사전에 정보가없는 것과 엄격한 이론적 의미가 없는가?

Q1에 대한 대답은 "예"인 경우 (일부 정교과 함께하시기 바랍니다), 다음은 베이지안 접근 방식은 보편적으로 적용 할 수 있음을 의미 하고 처음부터 관여되는 인간 선언 인스턴스에서 "나는 아무런 전과가없는"때문에 우리가 보완 할 수 있습니다, 현재 상황에 대한 정보가없는 장소.

그러나 Q1에 대한 대답이 "아니오"인 경우 Q2 는 다음 과 같이 나타납니다.

Q2 : Q1에 대한 답변이 "아니오"인 경우, 사전이없는 경우 베이지안 접근 방식을 처음부터 적용 할 수 없으며, 우선 비베 이지아 방식으로 사전을 형성해야합니다. 나중에 베이지안 접근 방식을 적용 할 수 있습니까?

— 알레 코스 파파도풀로스
소스

2

나는 과학자로서 "사전 믿음이 없다"는 아주 극단 주의자 진술이다. 낡은 아날로그 TV 세트의 정적 인 "눈"만 죽은 방송국에 맞춰져 있고 백색 잡음 만 듣는 것과 비슷하다. 과학자들이 세상에있는 것이 아무것도 아니라고 생각하지도 않습니다. 만약 우리가 과학자가 아니라고 믿었다면. 물론, "정보가없는"이라는 베이지안 표현은 가능성과 가능성에 대한 매우 일반적인 신념을 가지고 있습니다.

— Alexis

2

@Alexis 상황에 따라 다릅니다. 예를 들어, "봉투 역설 (Envelop Paradox)"에서, 문제는 내가보고있는 것이 "큰"양인지 "작은"양인지에 대한 사전의 믿음 이 있었 는지 여부에 관계없이, 봉투에 포함 된 양을보고 난 후의 문제입니다 . 그리고 나는 여기에 "나는 그 문제에 대한 사전 믿음이 없다"고 선언 할 때 어떤 것도 볼 수 없다.

— Alecos Papadopoulos

1

금액이 있고 봉투간에 약간의 분포가 있다는 사전 믿음이 있습니까? (특정 분포 또는 모수화에 대해 무관심한 경우에도)

— Alexis

1

@Alexis는 물론 후속 정보와 독립적으로 존재하는 구조적 지식으로 공식화되었습니다. 업데이트가 필요한 것은 아닙니다. 그리고이 공식은 적어도 한 명의 인류 구성원 (나 자신)에 대한 인식을 반영하기 때문에 실제 상황이며, 이것이 베이지안 분석에 적합한 지 여부에 대한 질문입니다. 물론 "봉투 사이의 양 분포에 대해 다음과 같은 사전 믿음이있다"고 선언하는 다른 사람에게는 베이지안 접근 방식의 적용 가능성이 분명합니다.

— Alecos Papadopoulos

2

당신은 이전이 없거나 이전이 있다고 믿는 것 같습니다. 내가 본 베이지안 모델링에서, 후부 분석은 조건부 또는 A 이전의 선택과 관련이 있으며 나는 이것을 이전의 절대로 사용하지 않습니다. 저의 선행은 확률 구조를 도입하고 모수 공간을 측정하는 자연스러운 방법입니다.

— 시안

11

Q1 : 사전에 정보가없는 것과 엄격한 이론적 의미가 없는가?

아니.

첫째, "정보가없는 사전"에 대한 수학적 정의는 없습니다. 이 단어는 이전의 내용을 설명하기 위해 비공식적으로 만 사용됩니다.

예를 들어, Jeffrey의 이전 버전은 종종 "비 정보"라고합니다. 이 사전은 번역 불변 문제에 대한 균일 사전을 일반화합니다. Jeffrey의 이전 방식은 어떻게 든 모델의 (정보 이론적) Riemannian 지오메트리에 적응하므로 모수의 지오메트리 (분포 공간 내)에만 의존하는 매개 변수화와는 무관합니다. 정식으로 인식 될 수 있지만 선택 일뿐입니다. Riemannian 구조에 따르면 그것은 단지 균일합니다. "정보가없는 = 통일"을 질문의 단순화로 정의하는 것은 터무니없는 일이 아닙니다. 이것은 많은 경우에 적용되며 명확하고 간단한 질문을하는 데 도움이됩니다.

사전없이 베이지안 추론을하는 것은 " 가 값을 가지고 있다는 것을 알고 의 분포에 대한 가정없이 어떻게 를 추측 할 수 있습니까?"와 같습니다. 이 질문은 분명히 의미가 없습니다. 0.5로 답하면 분포를 염두에두고있을 것입니다. $E(X)$ $X$ $X$ $[0;1]$

베이지안 및 잦은 접근 방식은 단순히 다른 질문에 대답합니다. 예를 들어, 가장 간단한 추정자에 대해 :

Frequentist (예 :) : " 최악의 경우 ( 이상) 내 대답이 가장 작은 오류 ( 이상 평균 )를 갖도록 어떻게 추정 할 수 있습니까?" 이것은 미니맥 추정기로 이어집니다. $\theta$ $x$ $\theta$
베이지안 : " 내 대답이 평균 ( 이상 ) 에서 가장 작은 오차를 갖도록 어떻게 추정 할 수 있습니까?". 이것은 Bayes 추정기로 이어집니다. 그러나 질문은 불완전하며 "어떤 의미의 평균?"을 지정해야합니다. 따라서 질문은 이전 내용이 포함 된 경우에만 완료됩니다. $\theta$ $\theta$

잦은주의는 최악의 경우 통제를 목표로하며 사전이 필요하지 않습니다. 베이지안은 평균 제어를 목표로하며 "평균의 의미는 무엇입니까?"

Q2 : Q1에 대한 답변이 "아니오"인 경우, 사전이없는 경우 베이지안 접근 방식을 처음부터 적용 할 수 없으며, 우선 비베 이지아 방식으로 사전을 형성해야합니다. 나중에 베이지안 접근 방식을 적용 할 수 있습니까?

예.

그러나 정식 사전 구성에주의하십시오. 수학적으로 매력적으로 들릴지 모르지만 베이지안 관점에서 자동으로 현실적이지는 않습니다. 수학적으로 좋은 사전은 실제로 멍청한 신념 체계에 해당합니다. 예를 들어, 당신은 공부를하면 , 제프리의에 앞서 되어 균일 한 사람들의 평균 크기에 대한 경우, 이것은 매우 현실적인 시스템하지 않을 수 있습니다. 그러나 몇 가지 관찰만으로도 문제는 실제로 매우 빨리 사라집니다. 선택은 그리 중요하지 않습니다. $X\sim N(\mu,1)$ $\mu$

이전 사양의 진정한 문제는 더 복잡한 문제로 발생합니다. 여기서 중요한 것은 특정 이전의 말을 이해하는 것입니다.

— 베누아 산체스
소스

2

(+1) 감사합니다. 이것은 정말 유익합니다.

— Alecos Papadopoulos

4

우선, 베이지안 접근법은 모델에 사전 지식을 포함시켜 풍부하게하기 때문에 종종 사용 됩니다. 사전 지식이 없으면 소위 "비 정보"또는 주간 정보 사전을 고수합니다. 균일성에 대한 가정 은 가정이기 때문에 사전에 균일 한 것은 정의에 의해 "정보가없는"것이 아님을 주목하십시오 . 없다 진정한 가치가없는 이전과 같은 더 그런 일이. "무엇이든 될 수있다"는 합리적인 "정보가없는"사전 가정 인 경우도 있지만 "모든 값이 똑같이 가능하다"는 것이 매우 강력하고 부당한 가정이라고 말하는 경우도 있습니다. 예를 들어, 높이가 0 센티미터에서 3 미터 사이 일 수 있다고 가정하면 모든 값이 우선 순위가 똑같을 가능성이 있으며 이는 합리적인 가정이 아니며 극단적 인 값에 너무 많은 가중치를 부여합니다. 그래서 당신의 후부를 왜곡시킬 수 있습니다.

한편, 베이지안은 사전 지식이나 신념이 전혀없는 상황이 실제로 없다고 주장 할 것입니다. 당신은 항상 무언가 를 가정 할 수 있고 인간으로서 항상 그것을하고 있습니다 (심리학자와 행동 경제학자들은이 주제에 대해 많은 연구를했습니다). 베이지안 추론은 당신의 신념을 업데이트하는 것에 관한 것이기 때문에, 이전의 베이지안 소란은 선입견을 정량화하고 모델에서 명시 적으로 진술하는 것에 관한 것 입니다.

추상적 인 문제에 대해서는 "사전 가정이 없다"는 주장이나 일관된 사전이 필요하지만 실제 문제에 대해서는 사전 지식이있을 것입니다. 봉투에있는 금액에 대해 베팅해야하는 경우 금액이 음수가 아니고 유한해야한다는 것을 알고있을 것입니다. 또한 콘테스트 규칙에 대한 지식, 적에게 사용할 수있는 자금, 봉투의 물리적 크기에 대한 지식 및 물리적으로 맞을 수있는 돈의 양을 고려할 때 가능한 금액의 상한에 대한 교육적인 추측을 할 수 있습니다. 당신은 또한 당신의 적이 봉투에 넣고 싶을 수도있는 돈의 양에 대해 추측 할 수 있습니다. 이전의 기초로 알고 싶은 것들이 많이 있습니다.

— 팀
소스

2

@AlecosPapadopoulos 당신이 듣고 싶은 말을하지 않아서 미안하지만, 이것이 귀하의 질문에 대한 답변의 일부라고 생각합니다. Q1과 관련하여, 당신이 가정했기 때문에 분명히 균일 한 사전을 가정하는 것은 이전을 가정 하지 않는 것과 동일하지 않습니다. 사전을 전혀 사용하지 않으려면 최대한 가능성 또는 경험적 Bayes 접근 방식을 사용하십시오.

— 팀

2

내가 무엇을 듣고 싶습니까? 내가 알기로, 사람이 여기에 질문을 할 때, 그 질문에 대한 대답이 합리적 일 것으로 기대됩니다. 내가 "듣고 싶었다"는 것은 없으며 (이전의 내용도 없음), 나는 특정 질문에 대한 답을 찾고자했으며, 귀하의 답변이 내 질문에 어떤 식으로 대답하지 못했는지에 대한 의견이었습니다. 그러나 귀하의 의견에 "실제적인 베이 즈 접근"이라는 것이 실제로 관련이 있다고 생각합니다 당신은 어떤 문헌을 언급하거나 지적 할 수 있습니까?

— Alecos Papadopoulos

3

@AlecosPapadopoulos 경험적 Bayes는 데이터 (예 : 부정 행위)를 기반으로 귀하의 우선 순위를 선택합니다. Efron의 Wikipedia 또는 논문으로 시작할 수 있습니다 (Google 학자에게 쉽게 구할 수 있음).

— Tim

2

월요일에 문제가 발생하여 표준 표준이라고하는 사전이 있다고 가정합니다. 따라서 데이터에 연결하고 분석을 실행하고 무언가를 배우십시오. 화요일에 당신은 이미 무언가를 배웠기 때문에 더 이상 그 이전을 사용할 수 없습니다. 따라서 다른 사전 플러그를 연결해야합니다. 따라서 엄격한 베이지안에서는 선행 사항이 일회용입니다. 말 그대로 소프트웨어를 통해서만 실행할 수 있습니다. 아무 것도 배우지 않으면 결과를 얻는 순간 이전이 만료됩니다. 따라서 실질적인 의미에서 베이지안 접근 방식은 순수한 형태로 사용할 수

— 없으며

3

@Aksakal하지만 화요일에 제가 월요일에 얻은 후부로 화요일에 왜 유효하지 않은가? 내가 말한대로, 그것은 완전히 유효한 순차적 절차입니다. 그래서 왜 당신이 "베이지 아인들이 끊임없이 속임수를 쓰고 있는지"를 이해하지 못합니다.

— Alecos Papadopoulos

3

질문 1 대답은 아마도 아니오라고 생각합니다. 내 이유는 최종 정보가 임의의 정보 모델 / 우연성으로부터 얼마나 멀리 떨어져 있는지 측정하는 것을 제외하고는 "정보가없는"에 대한 정의가 실제로 없기 때문입니다. 많은 정보가없는 사전은 이미 "모델 / 가능성"과 "답변"을 염두에두고있는 "직관적 인"예에 대해 검증되었습니다. 그런 다음 우리가 원하는 대답을하기 전에 정보를 요구하지 않습니다.

이것에 대한 나의 문제는 누군가가 그들의 인구에 대해 실제로 훌륭하고 정보가 풍부한 모델 또는 모델 구조를 가질 수 있고 동시에 그 모델에 대한 가능성이 높고 가능성이없는 모수 값에 대한 "정보가 없음"을 믿는 데 어려움을 겪고 있다는 것이다. 예를 들어 로지스틱 회귀 분석을 사용하는 경우 "논리 및 기타 회귀 모델의 경우 약한 유익한 기본 분포입니다."를 참조하십시오.

나는 우리가 합리적으로 말할 수있는 유일한 것은 이전의 "제 1 우선"이라고 생각합니다. 그러나 "정보가 없다"고 생각하면서 갑자기 "직관적이지 않은"답변에 대한 반응을 보이는 문제를 겪고 있습니다 (힌트 : 베이지안 답변이 마음에 들지 않으면 이전 또는 줄!). 또 다른 문제는 문제에 대한 이산화를 얻는 것입니다. 그리고 이것을 생각하더라도, 이산 유니폼을 적용하기 위해서는 이산 값의 수를 알아야합니다.

이전에 고려해야 할 또 다른 속성은 사용 가능성과 관련된 "꼬리 동작"입니다.

질문 2에

개념적으로, 이전 또는 가능성을 사용하지 않고 분포를 지정하는 데 아무런 문제가 없습니다. "내 pdf는 ...이고 나는이 pdf를 계산하고 싶다"라고 말함으로써 문제를 시작할 수 있습니다. 그런 다음 이전, 이전 예측 및 가능성에 대한 제약 조건을 만듭니다. 베이지안 방법은 사전 및 가능성이 있고 사후 분포로 결합하려는 경우에 사용됩니다.

아마도 당신의 확률이 무엇인지 분명히하는 것이 중요합니다. 그런 다음 논쟁은 "이 pdf / pmf가 내가 말하는 것을 나타내는가?" -내가 생각하고 싶은 공간입니다. 귀하의 예에서, 단일 배포판은 사용 가능한 모든 정보를 반영한다고 말하고 있습니다. 사용중인 배포판에 이미 포함되어 있기 때문에 "선점"이 없습니다.

베이를 반대로 적용 할 수도 있습니다. "사전", "우연성"및 "데이터"가 고려중인 실제 사전 정보를 제공합니까? 이것은 당신이 볼 수있는 한 가지 방법입니다 $U (0,1)$ 전에 $Bin(n,p)$ 가능성은 "보기"에 해당하는 것처럼 $Beta (0,0)$ "사전" $2$ 관찰- $1$ 각 카테고리에서.

소위 끔찍하게 잘못된 의견에

솔직히 말해서, 통계적으로 독립적 인 관찰을 예측하기 위해 수많은 관찰이 어떻게 사용될 수 있는지에 매우 관심이 있습니다. 예를 들어, 100 표준 표준 변수를 생성하겠습니다. 나는 당신에게 99를주고, 당신이 내게 100 번째로 가장 좋은 예측을하게 해줍니다. 0보다 100 일을 더 잘 예측할 수 없다고 말하지만 데이터를 제공하지 않으면 100 일을 예측하는 것과 같습니다. 따라서 99 개의 데이터 포인트에서 아무 것도 배울 수 없습니다.

그러나 이것이 "일부 정규 분포"라고 말하면 99 개의 데이터 점을 사용하여 모수를 추정 할 수 있습니다. 그러면 더 많은 데이터를 관찰 할 때 공통 구조에 대해 더 많이 알기 때문에 이제 데이터가 더 이상 "통계적으로 독립적"이 아닙니다. 최고의 예측은 이제 99 개의 모든 데이터 포인트를 사용합니다

— 확률 론적
소스

1

(+1) 신중한 답변에 감사드립니다. "실질적으로 잘못된"주장에 관한 설명 : "학습"(그리고 나는 단어의 일반적인 의미에 대해 이야기하고 있음)이 "예측"보다 훨씬 더 넓은 개념이기 때문에 만들어졌습니다. 두 사건이 구조적으로 유사하면 통계적으로 독립적 일 수 있지만 다른 사건을 연구함으로써 한 사건과 관련된 것을 배울 수 있습니다. 당신은 또한 당신의 대답에서 "공통 구조"에 대해 이야기합니다.

— Alecos Papadopoulos

@Alecos Papadopoulos-요점은 통계적으로 의존하지 않으면 배울 수 없다는 것입니다. 예를 들자면 시나리오 1에서 배울 수있는 것은 무엇입니까?

— 확률

1

게시물의 마지막 문장에 대해 언급하면서, 우리가 지적한 것처럼 공통 구조에 대해 무언가를 배울 수 있다는 사실은 무작위 변수를 "통계적으로 의존적"으로 만들지 않습니다. 그것들은 수학적으로 매우 정확한 의미를 갖는 개념 인 "통계 학적으로 독립적"이라고 말하는 또 다른 방법 인 "독립적 인 독립성"으로 남아 있습니다. 그것들이 공통적 인 특징을 공유한다는 것 (여기서, 그들의 범위는 동일한 확률 분포를 특징으로 함), 통계적으로 의존하지 않습니다.

— Alecos Papadopoulos

"독립적으로 독립적"이라는 문구는 분명하지 않으며, 이것이 내가 말한 것에 동의하지 않는 이유라고 생각합니다. 이것이 "조건부 독립"또는 "교환 가능"으로 바뀌면 말이 맞는 것입니다. 나는 여전히 100 i를 돕는 99 iid 표준 노멀 RV에서 배울 수있는 것을 기다리고 있습니다 (예측이 필요하지 않음).

— 확률

1

@probabilisticlogic "Independent in 확률"은 일반적으로 오래된 작품에서 찾을 수있는 표현으로, 분포 함수를 통해 표현 된 통계적 독립성을 의미합니다. 99rv는 100 번째, 순간, Quantile의 모든 종류의 속성, 특성 등을 배울 수있게 해줍니다.

— Alecos Papadopoulos

3

이것은 다른 훌륭한 답변에 덧붙여서 짧은 발언입니다. 종종 또는 적어도 때때로 통계 분석에 들어가는 정보의 어느 부분을 데이터 라고 하고 어느 부분을 먼저 호출 하는가가 임의적 (또는 관습 적) 인 경우 가 있습니다. 또는보다 일반적으로 통계 분석의 정보는 모델 , 데이터 및 이전의 세 가지 소스에서 나온다고 말할 수 있습니다 . 선형 모델 또는 glm과 같은 일부 경우에, 적어도 종래에는 분리가 분명하다.

저는 평신도 용어 로 MLE (Maximum Likelihood Estimation) 의 예를 재사용하여 요점을 설명 하겠습니다 . 환자가 의사의 진료실에 들어가서 진단하기 어려운 일부 의료 문제가 있다고 가정하십시오. 이 의사는 전에 비슷한 것을 보지 못했습니다. 그런 다음 환자와 이야기를 나누면 몇 가지 새로운 정보가 나타납니다.이 환자는 최근에 열대 아프리카를 방문했습니다. 그런 다음 의사에게 이것이 말라리아 또는 다른 열대성 질환 일 수 있음을 나타냅니다. 그러나이 정보는 우리에게 분명한 데이터입니다.그러나 적어도 사용될 수있는 많은 통계 모델에서, 그것은 사전 분포, 일부 열대성 질병에 더 높은 확률을 제공하는 사전 분포의 형태로 분석에 들어갈 것이다. 그러나이 정보가 데이터로 입력되는 더 크고 더 완전한 모델을 만들 수도 있습니다. 따라서, 적어도 부분적으로, 구별 데이터 / 이전 은 통상적이다.

우리는 일부 전통적인 클래스의 클래스에 중점을두기 때문에이 규칙에 익숙하고 동의합니다. 그러나 양식화 된 통계 모델의 세계 밖에서 더 큰 사물 체계에서는 상황이 명확하지 않습니다.

— 크 제틸 비 할보 르센
소스