최대 우도 추정을 이해하려면 얼마나 많은 미적분이 필요합니까?

11

MLE 학습을위한 학습 계획을 세우려고합니다. 이를 위해 MLE을 이해하는 데 필요한 최소 수준의 미적분이 무엇인지 파악하려고합니다.

MLE를 이해하기 위해 미적분학의 기초를 이해하는 것만으로 충분합니까 (즉, 최소 및 최대 함수 찾기)?

estimation mathematical-statistics maximum-likelihood

— 히 스텔 하임
소스

2

항상 그렇듯이에 따라 다릅니다 . 기본을 이해하려고 할 때 함수의 극한을 찾을 수 있으면 공정한 방법을 얻을 수 있습니다 (MLE의 많은 실제 사례에서 L은 M으로 표시됩니다).이 경우 다른 기술도 필요합니다 기본 미적분학으로).

— Glen_b-복지 주 모니카

감사. 언급 한 사례를 더 자세히 설명해 주시겠습니까? 재미 있겠다.

— histelheim

알았지 만 지금은 대답해야합니다. 잠깐만

— Glen_b-복지 주 모니카

20

내 의견을 확장하려면 의견이 다릅니다. 기본을 이해하려고 할 때 함수의 극한을 찾을 수 있으면 공정한 방법을 얻을 수 있습니다 (MLE의 많은 실제 경우에는 가능성이 수치 적으로 극대화됩니다.이 경우 다른 기술과 일부 기술이 필요합니다) 기본 미적분학).

나는 당신이 명백한 대수적 솔루션을 얻는 좋은 간단한 사례를 남겨 둘 것입니다. 그럼에도 불구하고 미적분학은 종종 매우 유용합니다.

나는 독립을 가정합니다. 1- 파라미터 최적화의 가장 간단한 경우를 보자. 먼저 미분을 취하고 모수와 통계량의 함수를 분리 할 수있는 경우를 살펴 보겠습니다.

$\rm{Gamma}(\alpha,1)$ 밀도를 고려하십시오

f_{X} (x; α) = \frac{1}{Γ (α)} x^{α - 1} \exp (- x); x > 0; α > 0

$f_X(x;\alpha) = \frac{1}{\Gamma(\alpha)} x^{\alpha-1} \exp(-x); \,\,\, x>0;\,\,\alpha>0$

그런 다음 크기가 $n$ 인 표본의 경우 가능성은

L (α; x) = \prod_{i = 1}^{n} f_{X} (x_{i}; α)

$\mathcal{L}(\alpha; \mathbf{x}) = \prod_{i=1}^n f_X(x_i;\alpha)$

따라서 로그 우도는

엘 (α; 엑스) = \sum_{나는 = 1}^{엔} \ln {에프}_{엑스} ({엑스}_{나는}; α) = \sum_{나는 = 1}^{엔} \ln (\frac{1}{Γ (α)} {엑스}_{나는}^{α - 1} 특급 (- {엑스}_{나는}))

$\mathcal{l}(\alpha; \mathbf{x}) = \sum_{i=1}^n \ln{f_X(x_i;\alpha)} \\ = \sum_{i=1}^n \ln{\left(\frac{1}{\Gamma(\alpha)} x_i^{\alpha-1} \exp(-x_i)\right)}\\$

= \sum_{나는 = 1}^{엔} - \ln Γ (α) + (α - 1) \ln {엑스}_{나는} - {엑스}_{나는}

$= \sum_{i=1}^n -\ln{\Gamma(\alpha)}+(\alpha-1)\ln{x_i} -x_i\\$

= - 엔 \ln Γ (α) + (α - 1) {에스}_{엑스} - 엔 \bar{엑스}

$= -n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}$ 여기서

S_{x} = \sum_{i = 1}^{n} \ln x_{i}

$S_x=\sum_{i=1}^n\ln{x_i}$ . 파생 상품을 복용,

\frac{디}{디 α} 엘 (α; 엑스) = \frac{디}{디 α} (- 엔 \ln Γ (α) + (α - 1) {에스}_{엑스} - 엔 \bar{엑스})

$\frac{d}{d\alpha}\mathcal{l}(\alpha; \mathbf{x}) = \frac{d}{d\alpha} \left(-n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}\right)\\$

= - 엔 \frac{Γ^{'} (α)}{Γ (α)} + {에스}_{엑스}

$= -n\frac{\Gamma'(\alpha)}{{\Gamma(\alpha)}}+S_x\\$

= - 엔 ψ (α) + {에스}_{엑스}

$= -n\psi(\alpha)+S_x$

우리가 제로로 그 설정에 대한 해결하려고 그렇다면 : 우리는이 얻을 수 $\hat{\alpha}$

ψ (\hat{α}) = \ln 지 (엑스)

$\psi(\hat{\alpha})=\ln{G(\mathbf{x})}\\$

여기서 $\psi(\cdot)$ 는 디 감마 함수이고 $G(\cdot)$ 는 기하 평균 입니다. 우리는 일반적으로 미분 값을 0으로 설정할 수 없으며 argmax 를 찾을 것이라고 확신 할 수 없습니다 . 여전히 솔루션이 최대라는 것을 어떤 식 으로든 보여줘야합니다 (이 경우에는 최대입니다). 더 일반적으로, 당신은 최소, 또는 수평 굴곡 점을 얻을 수 있으며, 당신이 로컬 최대 값을 가지고 있어도, 당신은 글로벌 최대 값을 갖지 못할 수도 있습니다 (끝에 닿아 있습니다).

우리의 작업은 값 찾기 위해 지금 그래서 하는 $\hat{\alpha}$

ψ (\hat{α}) = 지

$\psi(\hat{\alpha})=g$

$g=\ln{G(\mathbf{x})}$

이것은 기본 기능에 대한 해결책이 없으며 수치로 계산해야합니다. 적어도 한쪽의 매개 변수 기능과 다른 쪽의 데이터 기능을 얻을 수있었습니다. 방정식을 풀 수있는 명시적인 방법이없는 경우 사용할 수있는 다양한 제로 찾기 알고리즘이 있습니다 (미분이없는 경우에도 이진 섹션이 있음).

에프 (엑스; μ) = \frac{1}{4} {sech}^{2} (\frac{엑스 - μ}{2}) .

$f(x; \mu) =\frac{1}{4} \operatorname{sech}^2\!\left(\frac{x-\mu}{2}\right).$

μ

$\mu$

$\theta$

{에프}_{엑스} (엑스; θ) = \frac{1}{π (1 + (엑스 - θ)^{2})} .

$f_X(x;\theta) = \frac{1}{\pi (1 + (x-\theta)^2)}\,.$

일반적으로 여기서의 가능성은 고유 한 로컬 최대 값이 없지만 여러 로컬 최대 값을 갖습니다. 당신이 찾아내는 경우에 지역 최대, 또 다른, 더 큰 하나 다른 곳에있을 수 있습니다. (때로는 사람들이 중간 값에 가장 가까운 지역 최대 값을 식별하는 데 중점을 둡니다.)

$(0,\theta)$

다른 경우에는 매개 변수 공간이 불연속적일 수 있습니다.

때로는 최대 값을 찾는 것이 매우 복잡 할 수 있습니다.

그리고 그것은 하나의 매개 변수로 문제를 샘플링 한 것입니다. 여러 매개 변수가 있으면 상황이 다시 더 복잡해집니다.

— Glen_b-복귀 모니카
소스

4

$\mathbb{R}^p \to \mathbb{R}$

가능성의 로그를 최대화하는 것이 일반적으로 가능성 자체를 최대화하는 것보다 훨씬 쉽기 때문에 로그가있는 일부 시설이 확실히 도움이됩니다.

$\mathbb{R}^p \to \mathbb{R}$

— 스테판 콜라 사
소스