일반화 된 선형 모형을 사용한 모수 추정

glmR에서 함수를 사용할 때 기본적 으로이 함수는 반복적으로 가중 된 최소 제곱 (IWLS) 방법을 사용하여 모수를 추정 할 수있는 최대 가능성을 찾습니다. 이제 두 가지 질문이 있습니다.

1. IWLS 추정은 가능성 함수의 전체 최대 값을 보장합니까? 이 프레젠테이션 의 마지막 슬라이드를 기반으로 , 나는 그렇지 않다고 생각합니다! 나는 단지 그것을 확인하고 싶었다.
2. 위의 질문 1에 대한 이유는 거의 모든 수치 최적화 방법이 전역 최대 값이 아닌 로컬 최대 값에 머물러 있기 때문이라고 말할 수 있습니까?

모수를 추정하려고 할 때 항상 닫힌 양식 솔루션이 필요합니다. 그러나 항상 존재하는 것은 아닙니다 (일부 경우에는 존재하지만 현재는 알 수없는 것으로 생각됩니다). 폐쇄 형 솔루션이 존재하지 않을 경우, 가능한 최상의 모수 추정값을 얻기 위해 일부 휴리스틱 전략을 사용하여 모수 공간을 검색해야합니다. 이러한 많은 검색 전략 (예 :에있다 R, ? Optim을 목록 6 범용 방법). IRWLS는 Newton-Raphson 알고리즘 의 단순화 된 버전입니다 .

안타깝게도 [ 1 ]에 대한 답변 은 전체 최소값 (최대)을 찾는 휴리스틱 검색 전략이 보장되지 않는다는 것입니다. 그 이유는 세 가지가 있습니다.

1. 링크 된 프레젠테이션의 슬라이드 9에 언급 된 것처럼 고유 한 솔루션이 없을 수 있습니다. 이것의 예는 완벽한 다중 공선 성 이거나 데이터보다 추정 할 매개 변수 가 더 많을 수 있습니다 .
2. 슬라이드 10 (표현은 꽤 훌륭하다고 생각합니다)에서 언급했듯이 솔루션은 무한 할 수 있습니다. 예를 들어, 완벽한 분리 가있을 때 로지스틱 회귀 분석에서 이런 일이 발생할 수 있습니다 .

3. 유한 글로벌 최소값 (최대)이 있지만 알고리즘에서 찾지 못하는 경우도 있습니다. 이러한 알고리즘 (특히 IRWLS 및 NR)은 지정된 위치에서 시작하여 어떤 방향으로 이동하는 것이 '내리막'(즉, 착용감을 향상)으로 구성되는지 확인하기 위해 '주변'을 찾는 경향이 있습니다. 그렇다면, 그 방향으로 어느 정도 거리를두고 다시 맞추고 추측 / 예상 된 개선이 일부 임계 값보다 작을 때까지 반복합니다. 따라서 세계 최소값에 도달하지 못하는 두 가지 방법이 있습니다.

   1. 현재 위치에서 전체 최소값 (최대)을 향한 하강 속도가 임계 값을 초과하기에는 너무 얕으며 알고리즘이 솔루션 부족을 멈 춥니 다.
   2. 현재 위치와 전체 최소값 (최대 값) 사이에 로컬 최소값 (최대 값)이 있으므로 추가 이동으로 인해 더 적합 하지 않은 것으로 알고리즘에 나타납니다 .

귀하의 [ 2 ] 와 관련하여 , 다른 검색 전략은 지역 최소에 걸리는 경향이 다르다는 점에 유의하십시오. 후자의 두 가지 문제를 해결하기 위해 동일한 전략을 적용하거나 다른 출발점에서 시작할 수도 있습니다.

일반적으로 IWLS는 다른 수치 최적화 방법과 마찬가지로 수렴되는 경우 로컬 최대 값까지의 수렴을 보장 할 수 있습니다. 다음 은 시작 값이 R의 glm ()에서 사용하는 알고리즘에 대한 수렴 영역을 벗어난 좋은 예입니다. 그러나 표준 링크가있는 GLM의 경우 가능성이 오목하다는 점에 주목할 가치가 있습니다 . 여기를 참조 하십시오 . 따라서 알고리즘이 수렴하면 전역 모드로 수렴됩니다!

슬라이드에서 지적한 마지막 문제는 매개 변수의 MLE이 무한대 인 문제입니다. 이것은 완전한 분리가 존재하는 로지스틱 회귀 분석에서 발생할 수 있습니다. 이 경우 적합 확률이 숫자 0 또는 1이라는 경고 메시지가 표시됩니다. 이러한 상황이 발생하면 알고리즘이 모드로 수렴되지 않으므로 알고리즘과 관련이 없습니다. 로컬 최대 값에 갇혀 있습니다.