EM과 Gradient Ascent의 차이점은 무엇입니까?

답변:

21

에서:

Xu L과 Jordan MI (1996). 가우스 혼합물에 대한 EM 알고리즘의 수렴 특성에 . 신경 계산 2 : 129-151.

추상:

매개 변수 공간의 EM 단계가 투영 행렬 P를 통해 기울기에서 얻어지고 행렬에 대한 명시 적 표현을 제공함을 보여줍니다.

2 쪽

특히, 그라디언트에 포지티브 디 네이트 매트릭스를 미리 곱함으로써 EM 단계가 얻어 질 수 있음을 보여준다. 우리는 행렬에 대한 명시 적 표현을 제공합니다 ...

3 페이지

즉, EM 알고리즘은 가변 메트릭 그래디언트 상승 알고리즘으로 볼 수 있습니다 ...

이 논문은 EM 알고리즘을 기울기 상승, 뉴턴, 준 뉴턴으로 명시 적으로 변환합니다.

에서 위키 피 디아

기울기 하강, 켤레 기울기 또는 가우스-뉴턴 방법의 변형과 같은 최대 가능성 추정치를 찾는 다른 방법이 있습니다. EM과 달리, 이러한 방법은 일반적으로 우도 함수의 1 차 및 / 또는 2 차 도함수의 평가를 필요로합니다.

— 론 콜먼
소스
5
이 답변은 EM과 그라디언트 디센트가 기본적으로 동일한 알고리즘이며 한 알고리즘에서 다른 알고리즘으로 전환하는 데 사용할 수있는 변환을 암시하는 것으로 보입니다. 이것은 일반적으로 사실이 아니며, 고려되는 생성 모델에 크게 의존합니다. 인용 된 논문은 가우스 혼합 모델 (상대적으로 간단한 생성 모델 임)에 대한 결론 만 제시합니다. 필자의 제한된 경험에서 모델이 매우 비선형적이고 잠재 변수의 역할이 중요한 경우 EM은 현명한 업데이트 규칙을 도출하는 유일한 방법입니다.
— blue
9

아닙니다. 특히 EM 수렴이 훨씬 느립니다.

EM에 대한 최적화 시점에 관심 이 있는 경우이 백서 에서 EM 알고리즘은 더 넓은 범위의 알고리즘 (근위 점 알고리즘)의 특수한 사례임을 알 수 있습니다.

— 엘비스
소스
2
또는 아이디어, 비슷한 종류에 대한 힌튼과 닐 (1998)
— conjugateprior
2
"EM 수렴이 훨씬 느리다"; 이것은 잘 정의되지 않았으며 일반적으로 사실이 아닙니다. EM 알고리즘은 전체 알고리즘 클래스 입니다. 많은 문제를 들어, 특정 EM 알고리즘은 예술의 상태입니다.
— Cliff AB
@CliffAB는 이것에 대해 자세히 설명해 주시기 바랍니다. 여러분의 주장을 읽고 싶습니다. 4 년 동안이 답변을 읽었을 때, 저는 오늘 이것에 답하지 않을 것입니다. 그 이후로 나는 대부분의 경우, EM은 현재 위치에 따라 매개 변수는 '학습 속도'와 그라데이션 상승이 ... (나는 종류의 포인트 결과에 한 동안이 대답을 편집 할 수 있습니다)임을 발견
— 엘비스
"느린 수렴"은 수렴 속도로 정의 할 수 있습니다. 그라디언트 상승의 수렴 률은 선택하기 쉽지 않은 '학습률'에 따라 달라 지므로 많은 경우에 그라디언트 상승을 어렵게 만듭니다. 그러나 EM이 유일하게 실현 가능한 알고리즘 (우연의 가능성 또는 가능성 자체의 계산이 어려운) 일 수 있지만 뉴턴과 같은 방법에 비해 수렴 속도가 좋지 않다는 느낌이 있습니다.
— Elvis
"The"EM 알고리즘은 실제로 전체 클래스의 알고리즘입니다. 하나는 원래 목적 함수를 최적화하는 것은 곤란하다, 그러나 만약 어떤 다른 변수가 알려진, 용액 (일반적으로 폐쇄 된 형태로) 더 쉬울 것이다. 기본 개요는 다른 매개 변수의 현재 값을 조건으로 예상 변수를 채우고 변수의 예상 값을 기반으로 매개 변수를 업데이트하는 것입니다. 알고리즘이 얼마나 빨리 수렴되는지는 전가 된 데이터가 얼마나 유익한 지에 달려 있다는 것이 밝혀졌다. 누락 된 데이터가 "정보"가 많을수록 수렴 속도가 느려집니다.
— Cliff AB
당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.