GLM에 적합 할 때 Fisher 점수 사용에 대해 왜 큰 소란을 듭니까?


16

GLMS가 특별한 최적화 문제인 것처럼 피팅하는 이유를 궁금합니다. 그들이 있습니까? 그것들은 단지 최대 가능성 일 뿐이며, 우리는 가능성을 기록한 다음 ... 그것을 최대화하는 것 같습니다! 왜 우리는 응용 수학 문헌에서 개발 된 수많은 최적화 체계 대신 Fisher 점수를 사용합니까?

답변:


13

Fisher의 점수는 GLM으로 식별되는 Newton의 방법의 한 버전 일 뿐이며, 지수 군에서 임의의 변수에 대해 Fisher의 정보 매트릭스가 찾기 쉽다는 사실 외에는 특별한 점이 없습니다. 또한 거의 같은 시간에 나타나는 경향이 많은 다른 수학 통계 자료와 연결되며 Fisher 정보가 정확히 무엇을 의미하는지에 대한 멋진 기하학적 직관력을 제공합니다.

원하는 경우 다른 옵티 마이저를 사용하지 않을 것이라고 생각할 이유가 없습니다. 단, 기존 패키지를 사용하지 않고 직접 코딩해야 할 수도 있습니다. 피셔 점수에 중점을 두는 것은 체중 감소 순서대로 교육학, 파생 용이성, 역사적 편견 및 "발명되지 않은"증후군의 조합이라고 생각합니다.


1
IRLS 알고리즘은 예상되는 Hessian을 사용하는 반면 Newton-Raphson은 관측 된 Hessian을 사용합니다 . 두 알고리즘에 대한 자세한 비교는 gen.lib.rus.ec/… 를 참조하십시오 .
Tom Wenseleers

9

역사적이며 실용적입니다. Fisher 스코어링을 사용하여 MLE를 찾을 수있는 모델 세트 (예 : 반복적으로 재가 중 된 최소 제곱) 인 Nelder 및 Wedderburn 리버스 엔지니어링 GLM. 적어도 일반적인 경우에는 알고리즘이 모델보다 먼저 나왔습니다.

또한 IWLS가 70 년대 초반부터 사용 가능했던 것을 기억할 가치가 있으므로 GLM은 알아야 할 중요한 모델 클래스입니다. Newton 유형 알고리즘을 사용하여 GLM 가능성을 안정적으로 극대화 할 있다는 사실 (일반적으로 고유 한 MLE이 있음)은 수치 최적화 기술이없는 사람들도 GLIM과 같은 프로그램을 사용할 수 있음을 의미했습니다.


IRLS 알고리즘은 예상되는 Hessian을 사용하는 반면 Newton-Raphson은 관측 된 Hessian을 사용합니다 . 두 알고리즘에 대한 자세한 비교는 gen.lib.rus.ec/… 를 참조하십시오 .
Tom Wenseleers
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.