왜 "새들 프리 뉴턴"하강 알고리즘이 실제로 사용되지 않습니까?

최근에 나는 Yann Dauphin 등의 논문을 읽었습니다. 고차원 비 볼록 최적화에서 새들 포인트 문제를 식별하고 공격합니다 . 여기서 새들 프리 뉴턴 (Saddle-Free Newton) 이라는 흥미로운 하강 알고리즘을 도입합니다. 신경 알고리즘 은 뉴럴 네트워크 최적화에 적합하게 맞춰져 있고 안장 포인트에 걸리지 않아야합니다. 바닐라 SGD와 같은 1 차 방법과 유사합니다.

이 논문은 2014 년으로 거슬러 올라가서 전혀 새로운 것은 아니지만, "야생"으로 사용되는 것을 보지 못했습니다. 이 방법을 사용하지 않는 이유는 무엇입니까? 실제 크기의 문제 / 네트워크에는 Hessian 계산이 너무 금지됩니까? 이 알고리즘의 일부 오픈 소스 구현이 있습니까? 주요 딥 러닝 프레임 워크와 함께 사용할 수 있습니까?

2019 년 2 월 업데이트 : https://github.com/dave-fernandes/SaddleFreeOptimizer )

더 나은 최적화가 반드시 더 나은 모델을 의미하는 것은 아닙니다. 결국 우리가 신경 쓰는 것은 모델이 일반화되는 정도이며 훈련 세트의 성능이 반드시 좋은 것은 아닙니다. Fancier 최적화 기술은 일반적으로 훈련 세트에서 더 잘 수행하고 더 빨리 수렴하지만 기본 알고리즘뿐만 아니라 항상 일반화하지는 않습니다. 예 를 들어이 백서 는 SGD가 ADAM 최적화 프로그램보다 일반화 할 수 있음을 보여줍니다. 이것은 2 차 최적화 알고리즘의 경우에도 해당됩니다.

[편집] 여기에 적용되지 않으므로 첫 번째 지점을 제거했습니다. 이것을 지적 해준 bayerj에게 감사한다.