최대 우도 추정이 빈번한 기술로 간주되는 이유

저에게 빈번한 통계는 가능한 모든 샘플에 적합한 결정을 내리는 데 동의합니다. 즉, 잦은 의사 결정 규칙 는 항상 잦은 위험을 최소화하려고 노력해야한다. 이는 손실 함수 과 진정한 자연 상태 . $\delta$ $L$ $\theta_0$

{아르 자형}_{에프 아르 자형 이자형 큐} = {이자형}_{θ_{0}} (엘 (θ_{0}, δ (와이))

$R_\mathrm{freq}=\mathbb{E}_{\theta_0}(L(\theta_0,\delta(Y))$

최대 우도 추정은 잦은 위험과 어떤 관련이 있습니까? 잦은 사람들이 사용하는 가장 많이 사용되는 포인트 추정 기술이기 때문에 연결이 있어야합니다. 내가 아는 한, 최대 우도 추정은 잦은 위험 개념보다 오래되었지만 여전히 많은 사람들이 그것이 잦은 기술이라고 주장하는 이유는 무엇입니까?

내가 찾은 가장 가까운 연결은

Wassermann 2006, p. "약한 규칙 성 조건을 만족하는 파라 메트릭 모델의 경우 최대 가능성 추정값은 대략 최소값 입니다." 201 "

허용 된 답변은 최대 우도 포인트 추정을 빈번한 위험과 더 강하게 연계 시키거나 MLE가 빈번한 유추 기법임을 보여주는 빈번한 유추의 대안적인 공식 정의를 제공합니다.

maximum-likelihood frequentist

— 줄리안 칼스
소스

ML은 위험에 전혀주의를 기울이지 않습니다! 사실, ML에 대한 빈번한 결정 이론 이론적 비판의 일부입니다. 나는이 질문이 암시 적으로 두 개의 호환되지 않는 의미로 "Frequentist"를 사용하기 때문에 대답하기가 어렵다고 생각합니다.

— whuber

@whuber ML은 위험에주의를 기울입니다. 실제로 그것은 이전에 부적절한 유니폼을 입고 로그 손실을 최소화하는 것입니다.

— Cagdas Ozgenc

@Cagdas 나는 보통 의사 결정자의 위험이 아니라고 생각합니다. 대수 손실이 그들에게 중요한 위험 인 경우 위험을 최소화하는 것처럼 ML 을 보여 줍니다. 그런데 "부적절한 유니폼"에 호소하는 것은 결정적인 일이 아닙니다!

— whuber

@ whuber Bayesian 추정 절차는 누적 로그 손실을 사용하고 있습니다. 그 후에 만 의사 결정자 위험이 적용됩니다. 우리가 의사 결정권자의 위험을 직접적으로 (로그 손실 디딤돌을 통하지 않고) 최적화하는 것에 대해 이야기한다면, 잦은 절차, 즉 OLS가 더 유명합니다.

— Cagdas Ozgenc

답변:

우리가 좀 더 관대하고 정의한다면, 당신은 빈도와 MLE의 상대적으로 좁은 정의를 적용합니다

빈도 : 실제 매개 변수와 상관없이 반복 샘플링에서 일관성 목표, (점근) 최적, 편견 및 통제 된 오류율
MLE = 점 추정치 + 신뢰 구간 (CI)

MLE이 모든 잦은 이념을 만족 시킨다는 것은 분명합니다. 특히, p- 값인 MLE의 CI는 반복 샘플링에서 오류율을 제어하고 많은 사람들이 생각하기 때문에 실제 매개 변수 값에 대해 95 % 확률 영역을 제공하지 않습니다 .

이러한 모든 아이디어가 Fisher 이론의 1922 년 논문 "이론적 통계의 수학적 기초" 에 이미 나와 있지는 않지만, 최적 성과 편견에 대한 아이디어가 있으며, Neyman은 후자가 고정 된 오류율로 CI를 구성하는 아이디어를 추가했습니다. Efron, 2013, "250 년 논쟁 : 신념, 행동 및 부트 스트랩" 은 베이지안 / 자주 교 토론에 대한 그의 읽기 쉬운 역사를 요약합니다.

빈번한 악대 차는 1900 년대 초반부터 시작되었습니다. Ronald Fisher는 최적 추정의 최대 가능성 이론을 개발하여 추정에 대한 최상의 동작을 보여 주었으며 Jerzy Neyman은 신뢰 구간과 검정에 대해 동일한 방식을 수행했습니다. Fisher 's와 Neyman의 절차는 과학적 요구와 20 세기 과학의 계산 한계에 거의 완벽하게 부합하여 베이지안을 그림자 존재로 만듭니다.

좀 더 좁은 정의와 관련하여-나는 펀더멘탈 철학 (FR)이 방법이 잦은 철학을 따르는 지 결정하는 주요 기준이된다는 전제에 동의하지 않는다. 나는 FR을 최소화하는 것이 바람직한 속성이 있다는 사실이 말을 다음과 오히려 이전보다 빈도주의 철학에서. 따라서 의사 결정 규칙 / 추정자는 FR을 빈번주의로 최소화 할 필요가 없으며 FR을 최소화한다고해서 반드시 방법이 빈번하다고 말하는 것은 아니지만, 빈번한 주체는 의심 할 여지없이 FR의 최소화를 선호 할 것이다.

MLE를 구체적으로 살펴보면 Fisher는 MLE이 점진적으로 최적이며 (FR을 최소화하는 것과 거의 동일 함) MLE을 홍보 한 이유 중 하나였습니다. 그러나 그는 유한 샘플 크기에 대해 최적 성이 유지되지 않는다는 것을 알고있었습니다. 그럼에도 불구하고 일관성, 점근 적 정규성, 모수 변환 하에서의 불변성과 같은 다른 바람직한 특성으로 인해이 추정기에 만족했으며 계산하기 쉬워졌습니다. 특히 불변은 1922 년 논문에서 풍부하게 강조되었습니다. 필자는 필자가 읽은 바에 따르면 매개 변수 변환 하에서 불변을 유지하고 일반적으로 이전을 제거하는 능력은 MLE를 선택하는 데 주된 동기 중 하나였습니다. 그의 추론을 더 잘 이해하려면 1922 년 논문을 정말로 추천합니다.

— 플로리안 하티 그
소스

최대 우도 포인트 추정이 CI와 함께 또는 가설 검정 (예 : 우도 평가 검정)의 일부로 가장 자주 사용되므로 귀하의 답변을 요약 할 수 있습니까? 이것이 사실이라면, 이것이 올바른 대답이라고 생각하지만, 내가 바라는 것은 아닙니다. 나는 최대 우도 추정이 빈번한 점 추정 기법으로 간주 될 수있는 이유에 대한 공식적인 논증을 목표로 삼고 있었다. 이것이 잦은 추론에 대한 또 다른 공식적인 정의를 요구한다면 이것도 좋습니다.

— Julian Karls

나는 일반적으로 MLE을 Neyman의 CI와 함께 Fisher의 포인트 추정치를 포함하는 프레임 워크로 생각합니다. 이것이 수업에서 가르치는 방식이며, 위의 주장으로 인해 뼈에 빈번하게 사용됩니다. MLE 만 사용하는 방법과 이유에 대한 맥락없이 MLE만으로도 자주 사용되는 견적 자인지 논의하는 것이 얼마나 의미가 있는지 궁금합니다. 피셔의 이유를 원한다면 나는 1922 년 논문을 정말로 추천합니다.이 말은 당시에는 존재하지 않았지만 그가 언급 한 이유가 빈번하다고 말하고 싶습니다. 그런 점에서 의견을 넓혔습니다.

— Florian Hartig

기본적으로 두 가지 이유가 있습니다.

최대 가능성은 모형 모수의 점별 추정치 입니다. 우리 베이지안은 후 분포를 좋아합니다.
최대 가능성은 사전 분배가 없다고 가정 하며 , 베이지안은 사전 정보가 필요합니다. 유익하거나 정보가 없을 수 있지만 존재해야합니다.

— 유리 고렌
소스

+1 나는 단지 당신이이 대답에서 "비 기아"와 "자주 주의자"를 암시 적으로 나타내는 것으로 지적하고 싶습니다. "We Bayesians"의 언어는 또한 "Bayesian"은 일종의 기술과 해석이 아닌 일종의 개인적인 특성이나 부족 구성원 (거의 마치 에스키모 인 것처럼)을 나타냅니다.

— whuber

반면에 MLE은 베이지안 기법으로 쉽게 파생 될 수 있습니다. 이는 균일 한 사전을 사용하는 통계 모델의 MAP 추정치 일뿐입니다.

— Julian Karls

MAP"현명한 베이지안"에 의해 눈살을 찌푸 리다

— Uri Goren