R 기본 함수 glm()는 MLE에 Fishers Scoring glmnet을 사용하는 반면 좌표 하강 법을 사용하여 동일한 방정식을 해결하는 것으로 보입니다. Fisher Scoring이 다른 행렬 연산 외에도 2 차 미분 행렬을 계산하므로 좌표 강하는 Fisher Scoring보다 시간 효율적입니다. 좌표 하강은 O (np) 시간에 동일한 작업을 수행 할 수 있지만 수행 비용이 많이 듭니다.
R 기본 함수가 Fisher 스코어링을 사용하는 이유는 무엇입니까? 이 방법이 다른 최적화 방법보다 유리합니까? 좌표 하강과 피셔 득점은 어떻게 비교됩니까? 저는이 분야를 처음 접하므로 도움이나 리소스가 도움이 될 것입니다.
답변:
확인하는 유일한 방법은 벤치마킹 (benchmarking)이지만, glm Fisher 점수는 좌표 강하보다 빠릅니다. 피셔 스코어링은 좌표계 하강보다 수렴 속도가 빠른 Newton Raphson의 특수 사례입니다 (Newton-Raphson은 2 차 수렴, 좌표 하강은 선형 수렴). 시간이 흐르면 좌표 하강보다 훨씬 적은 단계가 필요할 수 있습니다.
올가미의 경우, 페널티 용어의 특수한 형태는 매우 특별한 경우가됩니다 (실제로 절대 값을 구별 할 수는 없지만 때로는이를 미세화 할 수 있습니다). 이 특별한 문제의 경우 좌표 하강이 특히 빠릅니다. 실제로 Newton-Raphson이 더 빠른 다른 많은 최적화 문제가 있습니다.