스튜던트 t- 분포의 추정 모수

23

스튜던트 t- 분포의 모수에 대한 최대 우도 추정치는 무엇입니까? 닫힌 형태로 존재합니까? 빠른 Google 검색으로 결과가 나오지 않았습니다.

오늘 나는 일 변량 사례에 관심이 있지만 아마도 모델을 여러 차원으로 확장해야 할 것입니다.

편집 : 실제로 위치 및 스케일 매개 변수에 주로 관심이 있습니다. 지금은 자유도 매개 변수가 고정되어 있다고 가정하고 나중에 최적의 값을 찾기 위해 숫자 체계를 사용할 수 있습니다.

estimation maximum-likelihood t-distribution

— 그제 니오
소스

내 지식으로는 그것들은 닫힌 형태로 존재하지 않습니다. 기울기 상승 유형 접근이 필요할 수 있습니다.

— Pat

스튜던트 t 분포는 단일 모수를 갖지만 , 복수의 "모수"를 참조하십시오. 위치 및 / 또는 스케일 파라미터를 포함하고 있습니까?

— whuber

@ whuber는 의견에 감사드립니다. 자유도보다 위치 및 스케일 매개 변수에 실제로 관심이 있습니다.

— Grzenio

하여

n

$n$ 데이터, 위치 매개 변수에 대한 우도 방정식 정도의 다항식에 대수적으로 동일하다

2 n - 1

$2n-1$ . 그러한 다항식 중 0을 "폐쇄 된 형태"로 제공한다고 생각하십니까?

— whuber

@ whuber, 작은 n에 대한 특별한 경우가 있습니까 (예 : n = 3)?

— Grzenio

27

닫힌 양식은 T에 존재하지 않지만 EM 알고리즘을 통한 매우 직관적이고 안정적인 접근 방식입니다. 이제 학생이 법선의 척도 혼합이므로 모델을 다음과 같이 작성할 수 있습니다.

y_{i} = μ + e_{i}

$y_i=\mu+e_i$

어디서 및 $e_i|\sigma,w_i \sim N(0,\sigma^2w_i^{-1})$ . 이것은 조건부 $w_i\sim Ga(\frac{\nu}{2}, \frac{\nu}{2})$ MLE 바로 가중 평균과 표준 편차이다. 이것은 "M"단계입니다 $w_i$

\hat{μ} = \frac{\sum_{i} w_{i} y_{i}}{\sum_{i} w_{i}}

$\hat{\mu}=\frac{\sum_iw_iy_i}{ \sum_iw_i}$

{\hat{σ}}^{2} = \frac{\sum_{i} w_{i} (y_{i} - \hat{μ})^{2}}{n}

$\hat{\sigma}^2= \frac{\sum_iw_i(y_i-\hat{\mu})^2}{n}$

이제 "E"스텝을 대체 $w_i$ 그 기대와 함께 모든 데이터를 제공. 이것은 다음과 같이 주어진다 :

{\hat{w}}_{i} = \frac{(ν + 1) σ^{2}}{ν σ^{2} + (y_{i} - μ)^{2}}

$\hat{w}_i=\frac{(\nu+1) \sigma^2 }{\nu \sigma^2 +(y_i-\mu)^2}$

따라서 각 방정식의 "오른쪽"을 현재 모수 추정값으로 대체하여 위의 두 단계를 반복하면됩니다.

이것은 잔차가 큰 관측치가 위치 에 대한 계산에서 가중치가 적고 계산에 대한 영향을 받기 때문에 t 분포의 견고성을 매우 쉽게 보여줍니다 . "한정된 영향"이란 i 번째 관측치에서 추정값에 대한 기여가 주어진 임계 값을 초과 할 수 없음을 의미합니다 (이는 EM 알고리즘에서 입니다). 또한 는 증가 (감소)하는 "견고성"매개 변수입니다. $\mu$ $\sigma^2$ $\sigma^2$ $(\nu+1)\sigma^2_{old}$ $\nu$ 는 더 균일 한 가중치를 초래하고 이상치에 대한 감도는 더 작아집니다. $\nu$

주목할 점은 로그 우도 함수가 둘 이상의 정지 점을 가질 수 있으므로 EM 알고리즘이 전역 모드 대신 로컬 모드로 수렴 될 수 있다는 것입니다. 위치 매개 변수가 특이 치에 너무 가깝게 시작되면 로컬 모드가 발견 될 수 있습니다. 따라서 중앙값에서 시작하는 것이 이것을 피하는 좋은 방법입니다.

— 확률 론적
소스

1

대단해. 나는 학생 t가 EM을 사용하여 잠시 동안 가우스 인처럼 보이는 이유에 대해 생각하고 놀았습니다. 제공하는 업데이트 방정식에 대한 인용 / 참조가 있습니까? 그렇게하면이 게시물의 위대함이 더욱 높아질 것입니다.

— Pat

실제로, 나는 학생 t의 혼합 모델 (내가 물건에 사용할 것입니다)에 대해 스스로를 찾은 것 같습니다 : 학생의 t- 분포의 혼합물은 엄격한 등록을위한 강력한 프레임 워크입니다. Demetrios Gerogiannis, Christophoros Nikou, Aristidis Likas. 이미지 및 비전 컴퓨팅 27 (2009) 1285–1294.

— Pat

이 질문에 대한 내 대답의 링크에는 Quantile, Student, Logistic 및 일반 회귀 분석과 같은 가능성 함수의로드 및로드에 대한 매우 일반적인 EM 프레임 워크가 있습니다. 공변량이없는 "회귀"인 특정 사례는 절편 만 –이 프레임 워크에 잘 맞습니다. 또한이 프레임 워크에 통합 할 수있는 수많은 페널티 용어가 있습니다.

— probabilityislogic

ν

$\nu$

이 참조가 @Pat보다 낫다고 생각합니다. 'EM 및 그 확장, ECM 및 ECME를 사용한 t 배포의 ML 추정.' 로컬 최적 문제로 인해 EM 알고리즘을 실행하는 동안 초기 파라미터 값 선택에 매우주의해야합니다. 다시 말해, 데이터에 대해 알아야합니다. 일반적으로 연구에서 t 분포를 사용하지 않습니다.

4

다음 문서는 게시 한 문제를 정확하게 설명합니다.

Liu C. 및 Rubin DB 1995. "EM 및 확장, ECM 및 ECME를 사용한 t 분포의 ML 추정." Statistica Sinica 5 : 19 ~ 39.

자유도에 대한 지식이 있거나없는 일반적인 다변량 t- 분포 모수 추정값을 제공합니다. 절차는 섹션 4에서 찾을 수 있으며 1 차원의 확률 론적 절차와 매우 유사합니다.

— 미치시
소스

7

언급 한 논문에 질문에 대한 유용한 답변이 포함되어있는 것처럼 들리지만 독립형이고 외부 리소스가 필요하지 않은 경우에는 답변이 더 좋습니다 (예 : OP 또는 독자가이 백서에 액세스하지 못할 수 있음) ). 좀 더 독립형으로 만들기 위해 답을 조금씩 살려 주시겠습니까?

— Patrick Coulombe

3

닫힌 형식으로 존재하는지 의심합니다. 과 같은 가능성의 요인 중 하나를 쓰는 경우

\frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} {(1 + \frac{t^{2}}{ν})}^{- \frac{ν + 1}{2}} = \frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} \exp {[\ln (1 + \frac{t^{2}}{ν})] [- \frac{ν + 1}{2}]}

$\frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \left(1+\frac{t^2}{\nu} \right)^{-\frac{\nu+1}{2}} = \frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \exp \left \{ \left [ \ln \left(1+\frac{t^2}{\nu} \right) \right ] \left [ {-\frac{\nu+1}{2}} \right ]\right \}$

ν

$\nu$

n

$n$

n

$n$

ν \to \infty

$\nu \rightarrow \infty$

— 루 코자 이드
소스

1

가우시안 설정에서도 로그 가능성은 해당 매개 변수에서 비선형 적입니다. :-).

— whuber

실제로 자유도보다 위치 및 스케일 매개 변수에 관심이 있습니다. 질문에 대한 수정 사항을 참조하십시오. 정확하지 않아 죄송합니다.

— Grzenio

2

최근에 학생의 t 분포 규모에 대한 폐쇄 형 견적 도구를 발견했습니다. 내가 아는 한, 이것은 새로운 공헌이지만 관련 결과를 제안하는 의견을 환영합니다. 이 논문은 "결합 지수"분포 패밀리의 맥락에서 방법을 설명합니다. 스튜던트 t는 커플 링 가우시안이라고하며, 여기서 커플 링 항은 자유도의 역수입니다. 폐쇄 형 통계량은 표본의 기하 평균입니다. 커플 링의 값 또는 자유도를 가정하면, 스케일의 추정치는 샘플의 기하학적 평균에 커플 링 및 고조파 수를 포함하는 함수를 곱함으로써 결정된다.

https://arxiv.org/abs/1804.03989 결합 가우스 분포의 척도에 대한 통계로 기하 평균 사용, Kenric P. Nelson, Mark A. Kon, Sabir R. Umarov

— 케릭
소스