왜 선형 및 로지스틱 회귀 계수를 동일한 방법으로 추정 할 수 없습니까?


9

기계 학습 서적에서 선형 회귀의 매개 변수는 기울기 하강에 의해 (다른 방법 중에서도) 추정 될 수 있지만, 로지스틱 회귀의 매개 변수는 일반적으로 최대 우도 추정에 의해 추정됩니다.

왜 선형 / 로지스틱 회귀 분석을 위해 다른 방법이 필요한지 초보자에게 설명 할 수 있습니까? aka 왜 선형 회귀에 대해 MLE가 아니고 로지스틱 회귀에 대해 기울기 하강이 아닌가?

답변:


19

사과와 오렌지를 혼동하고 있습니다. 둘 다 맛있기 때문에 괜찮습니다.

최대 우도 추정에 관한 것입니다 무엇을 당신은 최소화, 그라데이션 하강에 관한 어떻게 당신이 그것을 최소화 할 수 있습니다.

선형 회귀 분석에 MLE가 아닌 이유는 무엇입니까?

실제로 선형 회귀 분석 최대 가능성 추정으로 해결됩니다. 표준 "제곱 오차 합계 최소화"방법은 조건부 정규 분포를 사용한 최대 가능성 추정과 수학적으로 동일합니다.

로지스틱 회귀 분석을 위해 기울기 강하가 발생하는 이유는 무엇입니까?

그래디언트 디센트를 사용하여 가능성 함수 최소화하여 로지스틱 회귀 분석을 완전히 해결할 수 있습니다 . 실제로는 훌륭한 운동이며 모든 사람이 한 번 이상 수행하는 것이 좋습니다.

그래디언트 디센트는 표준 방법이 아닙니다. 해당 상품 간다 반복적 최소 제곱 가중 재 / 뉴턴 방법 뿐만 아니라 고려 이차 미분을 취 하강 구배를 향상시킨 것이다. 이 방법은 그래디언트 디센트보다 훨씬 나은 속성을 가지고 있지만 이해하고 구현하기가 더 까다 롭습니다.


2
감사. Newton의 방법은 Newton Raphson과 동일합니까? 아니면 뭔가 다른가요?
Victor

2
예, 나는 그것들이 같은 개념을 참조한다고 생각합니다.
Matthew Drury
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.