최대 우도 추정과 구배 하강의 차이점은 무엇입니까?

두 방법의 장단점은 무엇입니까?

— GeorgeOfTheRF
소스

나는 이미 Google 검색에서 가지고있는이 두 가지 방법의 정의를 찾고 있지 않습니다. 어떤 경우에 어떤 방법이 선호되는지 이해하려고합니다. 예 : Bigdata의 경우 다른 것보다 더 잘 작동합니다. 실제적인 측면 등에 대해 이야기

— 할만한

까마귀는 책상처럼 어떻습니까?

— whuber

@ML_Pro GD는 통계 모델링과 관련이 없으며 알고리즘입니다. 통계 문제 해결을위한 도구 (예 : GD)를 배우기 전에 통계적 추론에 대해 더 잘 이해하기 위해 입문 통계 핸드북으로 시작할 수 있습니다.

— 팀

Gradient Descent 와 Expectation Maximization (일반적으로 MLE의 최적화 문제를 해결하는 데 사용됨) 의 차이점을 묻고 싶습니까 ?

— Sobi

답변:

최대 우도 추정 은다음과 같이 정의 된 우도 함수를 최대화하여 통계 모델에서 모수를 추정 하는 일반적인 방법입니다.

L (θ | X) = f (X | θ)

$L(\theta|X) = f(X|\theta)$

즉, 파라미터 일부 값이 주어지면 데이터 를 얻을 확률이있다 . 주어진 문제에 대한 우도 함수를 알면 데이터를 얻을 확률을 최대화하는 를 찾을 수 있습니다. 산술 평균은 정규 분포에 대한 모수에 대한 MLE 추정기 이지만 때때로 최적화 알고리즘 사용을 포함한 다른 방법을 사용할 수도 있습니다. ML 접근 방식은 당신에게하지 않는 방법 의 최적 값을 찾을 - 단순히 추측을 가지고 추측이 잘 된 비교 가능성을 사용할 수 있습니다 - 그것은 단지 당신이 할 수있는 방법을 알려줍니다 비교 의 경우 하나 개의 값을 $X$ $\theta$ $\theta$ $\mu$ $\theta$ 는 다른 것보다 "더 가능성이 높습니다". $\theta$

그라디언트 디센트 는 최적화 알고리즘 입니다. 이 알고리즘을 사용하여 여러 다른 함수의최소값 (또는 최대 값을 구한 다음 기울기 상승 )을 찾을 수 있습니다. 알고리즘은 실제로 최소화하는 기능이 무엇인지 신경 쓰지 않고 요청한 기능 만 수행합니다. 따라서 최적화 알고리즘을 사용하면 관심있는 매개 변수의 한 값이 다른 것보다 "더 나은지"어떻게 알 수 있는지 알아야합니다. 최소화 할 함수를 알고리즘에 제공해야하며 알고리즘은 최소값을 찾는 것을 처리합니다.

다른 방법을 사용하여 최대 가능성 추정값을 얻을 수 있으며 최적화 알고리즘을 사용하는 것이 그 중 하나입니다. 한편, 경사 하강은 우도 함수 이외의 함수를 최대화하기 위해 사용될 수도있다.

— 팀
소스

@ ML_Pro 자세한 정보를 찾을 수있는 두 개의 링크를 제공했지만이 답변을 복제 할 필요가 없다고 생각합니다.

— 팀

내 대답에 쓴 @ ML_Pro, 그들은 다른 것들 이며 당신은 그들을 비교할 수 없습니다 ...

— Tim

예. 그러나 MLE는 일반적인 접근 방식이며 GD는 여러 다른 기능을 최소화하는 데 사용할 수있는 알고리즘 일뿐입니다. 대수를 포켓 계산기와 비교 한 것과 같습니다 ...

— Tim

MLE는 목적 함수 (우도 함수)를 지정합니다. 목표 함수가 지정되면 GD는 문제에 대한 최적의 솔루션을 찾습니다. GD (또는 다른 최적화 알고리즘)를 사용하여 최대 가능성 문제를 해결할 수 있으며 결과는 최대 가능성 추정값이됩니다.

— jbowman

@ ML_Pro 이것은 내 대답에 제공된 링크에 설명되어 있습니다. 한마디로 그렇습니다 : pdf의 제품입니다. 우리는 데이터가 iid라고 가정하기 때문에 제품 확률 모델에 대해 이야기하고 있기 때문에 pdf로 정의됩니다.

— Tim

-3

f = l (θ)

$f = l(\theta)$

\frac{d f}{d θ} = 0

$\frac{ df }{ d\theta } = 0$

θ

$\theta$ f

그러나 로지스틱 회귀의 우도 함수 는 이런 식으로 폐쇄 형 솔루션을 제공 하지 않습니다 . 따라서와 같은 다른 방법을 사용해야 gradient descent합니다.

— 벨트
소스

@Tim

— Belter

"회귀 계수는 일반적으로 최대 가능성 추정을 사용하여 추정됩니다"( en.wikipedia.org/wiki/Logistic_regression )

— Tim

최대 우도 추정은 회귀 계수를 추정하는 일종의 방법이지만 MLE의 해를 구하는 방법에는 여러 가지가 있습니다. 따라서 likelihood function+ gradient descent(우도 함수의 해를 구하는)를 사용하는 것은 여전히 MLE을 수행하는 방법입니다.

— Belter

Unlike linear regression, we can no longer write down the MLE in closed form. Instead, we need to use an optimization algorithm to compute it. For this, we need to derive the gradient and Hessian.

Machine Learning : Probabilistic Perspective, Kevin Murphy에서도이 문장 을 볼 수 있습니다 .

— Belter

... 그런 다음 당신은 로지스틱 회귀 분석을 위해 우리는 ML을 사용하지 않고 대신 GD를 사용한다고 말하는 것처럼 당신의 대답은 혼란 스럽습니다.

— Tim