뉴턴의 방법이 기계 학습에 널리 사용되지 않는 이유는 무엇입니까?

이것은 잠시 동안 나를 괴롭 혔으며 온라인에서 만족스러운 답변을 찾을 수 없으므로 여기에 간다.

볼록 최적화에 대한 일련의 강의를 검토 한 후, Newton의 방법은 솔루션에 대한 보증을 제공 할 수 있고, 불변이고, 대부분 수렴하기 때문에, 전 세계적으로 최적의 솔루션을 찾기 위해 기울기 하강보다 훨씬 우수한 알고리즘 인 것 같습니다. 훨씬 적은 단계. 뉴턴의 방법과 같은 2 차 최적화 알고리즘이 머신 러닝 문제에서 확률 적 경사 하강만큼 널리 사용되지 않는 이유는 무엇입니까?

그라디언트 디센트는 미분에 대한 지식을 사용하여 함수를 최대화합니다. 루트 찾기 알고리즘 인 Newton의 방법은 2 차 도함수에 대한 지식을 사용하여 함수를 최대화합니다. 2 차 도함수가 알려져 있고 계산하기 쉬울 때 더 빠를 수 있습니다 (Newton-Raphson 알고리즘이 로지스틱 회귀 분석에 사용됨). 그러나, 이차 미분에 대한 분석 표현은 종종 복잡하거나 다루기 어렵고 많은 계산이 필요합니다. 2 차 도함수를 계산하기위한 수치 적 방법은 많은 계산 을 필요로합니다. 1 차 도함수를 계산하기 위해 값이 필요한 경우 , 차 도함수에 가 필요합니다.$N$$N^2$

더 많은 사람들 이 머신 러닝 *에서 Newton의 방법을 사용해야 합니다. 나는 지난 몇 년 동안 기계 학습에 푹 빠져있는 수치 최적화에 대한 배경 지식을 가진 사람이라고 말합니다.

Newton의 방법을 올바르게 사용하면 여기 (그리고 심지어 문헌에서도) 대답의 단점은 문제가되지 않습니다. 더욱이, 문제가되는 결점은 또한 같은 양 또는 그보다 덜 명확한 메커니즘을 통해 경사 하강을 늦춘다.

• Wolfe 조건으로 라인 검색을 사용하거나 영역을 사용하거나 트러스트하면 안장 점으로 수렴되지 않습니다. 적절한 그라데이션 하강 구현도이 작업을 수행해야합니다. 논문 에서 참조 Cam.Davidson.Pilon의 대답은 안 장점의 존재 "뉴턴의 방법"문제를 지적하지만, 그들이 옹호 수정도 뉴턴 방법이다.

• 뉴턴의 방법을 사용하기 위해서는 전체 (고밀도) 헤 시안을 구성 할 필요가 없습니다. 행렬 벡터 제품 만 사용하는 반복 방법 (예 : 켤레 구배와 같은 Krylov 방법)을 사용하여 Hessian의 역을 벡터에 적용 할 수 있습니다. 예를 들어 CG-Steihaug 신뢰 영역 방법을 참조하십시오.

• 그래디언트를 계산하는 데 이미 사용 된 인접 방정식 (예 : 신경망 훈련에서 두 개의 역 전파 단계의 작업)과 동일한 형식의 두 개의 고차 인접 방정식을 해결하여 Hessian 행렬-벡터 곱을 효율적으로 계산할 수 있습니다.

• 불량 컨디셔닝은 반복 선형 솔버의 수렴을 늦추지 만 그래디언트 디센트를 동일하게 또는 더 느리게 늦 춥니 다. 그래디언트 디센트 (gradient descent) 대신 뉴턴 (Newton) 방법을 사용하면 비선형 최적화 단계 (상황을 개선하기 위해 많이 할 수없는 단계)에서 선형 대수 단계 (우리는 수치 선형 대수 사전 조건 기술의 전체 무기고로 공격 할 수있는 단계)로 난이도가 이동합니다.

• 또한 계산은 "많은 값싼 단계"에서 "비용이 많이 드는 몇 단계"로 이동하여 하위 단계 (선형 대수) 수준에서 병렬 처리의 기회를 더 많이 제공합니다.

이러한 개념에 대한 배경 정보는 Nocedal and Wright의 "Numerical Optimization" 책을 권장합니다 .

* 물론, 뉴턴의 방법은 L1 또는 다른 유사한 압축 감지 / 희소성 패널티 기능에 필요한 평활도가 없기 때문에 도움이되지 않습니다.

나는 최근에 이것을 스스로 배웠다-문제는 고차원 공간에서 안장 점의 확산이며 뉴턴 방법이 수렴하기를 원한다는 것이다. 고차원 비 볼록 최적화에서 새들 포인트 문제 식별 및 공격 문서를 참조하십시오 .

실제로 안 장점 수 대 국소 최소값의 비율은 차원 N에 따라 기하 급수적으로 증가합니다.

음의 곡률 방향에 따라 경사 하강 역학이 안 장점에서 더 낮은 오차로 격퇴되지만 뉴턴 방법은 안 장점을 적절하게 처리하지 않습니다. 아래에서 논의 된 바와 같이, 안 장점은 대신 뉴턴 역학 하에서 매력적으로된다.

두 가지 이유의 조합 :

• 뉴턴 방법은 포인트를 중철합니다.
• 새들 포인트 는 머신 러닝 또는 실제로 모든 다 변수 최적화에서 일반적입니다.

$$f=x^2-y^2$$

$$\mathbf{x}_{n+1} = \mathbf{x}_n - [\mathbf{H}f(\mathbf{x}_n)]^{-1} \nabla f(\mathbf{x}_n)$$

$$\mathbf{H}= \begin{bmatrix} \dfrac{\partial^2 f}{\partial x_1^2} & \dfrac{\partial^2 f}{\partial x_1\,\partial x_2} & \cdots & \dfrac{\partial^2 f}{\partial x_1\,\partial x_n} \\[2.2ex] \dfrac{\partial^2 f}{\partial x_2\,\partial x_1} & \dfrac{\partial^2 f}{\partial x_2^2} & \cdots & \dfrac{\partial^2 f}{\partial x_2\,\partial x_n} \\[2.2ex] \vdots & \vdots & \ddots & \vdots \\[2.2ex] \dfrac{\partial^2 f}{\partial x_n\,\partial x_1} & \dfrac{\partial^2 f}{\partial x_n\,\partial x_2} & \cdots & \dfrac{\partial^2 f}{\partial x_n^2} \end{bmatrix}.$$

$$\mathbf{H}= \begin{bmatrix} 2 & 0 \\[2.2ex] 0 & -2 \end{bmatrix}$$

$$[\mathbf{H} f]^{-1}= \begin{bmatrix} 1/2 & 0 \\[2.2ex] 0 & -1/2 \end{bmatrix}$$

$$\nabla f=\begin{bmatrix} 2x \\[2.2ex] -2y \end{bmatrix}$$

$$\mathbf{\begin{bmatrix} x \\[2.2ex] y \end{bmatrix}}_{n+1} = \begin{bmatrix} x \\[2.2ex] y \end{bmatrix}_n -\begin{bmatrix} 1/2 & 0 \\[2.2ex] 0 & -1/2 \end{bmatrix} \begin{bmatrix} 2x_n \\[2.2ex] -2y_n \end{bmatrix}= \mathbf{\begin{bmatrix} x \\[2.2ex] y \end{bmatrix}}_n - \begin{bmatrix} x \\[2.2ex] y \end{bmatrix}_n = \begin{bmatrix} 0 \\[2.2ex] 0 \end{bmatrix}$$

$x=0,y=0$

대조적으로, 경사 하강 법은 안 장점으로 이어지지 않을 것이다. 새들 포인트에서 그라디언트는 0이지만 위의 그라디언트에서 볼 수 있듯이 작은 스텝 아웃으로 최적화가 사라집니다. y 변수의 그라디언트는 음수입니다.

두 가지 질문을했습니다. 왜 더 많은 사람들이 뉴턴의 방법을 사용하지 않습니까? 그리고 왜 많은 사람들이 확률 론적 경사 하강을 사용합니까? 뉴턴 방법의 계산 부담을 줄여 주지만 종종 SGD보다 잘 작동하는 알고리즘이 많기 때문에 이러한 질문에는 다른 대답이 있습니다.

$H$$O(N^2)$$N$$g$$O(N)$$H^{-1} g$$O(N^3)$계산하기. 따라서 Hessian을 계산하는 데는 비용이 많이 들지만 반전하거나 최소 제곱을 푸는 것이 더 나쁜 경우가 많습니다. 스파 스 기능이있는 경우 무증상이 더 좋아 보이지만 다른 방법도 더 잘 수행되므로 희소성 으로 인해 Newton이 상대적으로 매력적 이지 않습니다 .

둘째, 경사 하강뿐만 아니라 많은 방법이 뉴턴보다 더 자주 사용됩니다. 그것들은 종종 스텝 당 더 낮은 계산 비용으로 뉴턴 단계와 근사하지만 수렴을 위해 더 많은 반복을 수행한다는 점에서 뉴턴 방법의 노크입니다. 몇 가지 예 :

• $H^{-1}$

• $O(N^2)$

• 근사 이차 도함수를 전혀 처리하지 않으려는 경우, 경사 하강은 1 차 정보 만 사용하기 때문에 매력적입니다. 그라디언트 하강은 암시 적으로 역행 헤 시안을 학습률 곱하기 항등 행렬로 추정합니다. 나는 개인적으로 그라디언트 디센트를 거의 사용하지 않습니다. L-BFGS는 목적 함수와 그라디언트 만 지정하면되기 때문에 구현하기가 쉽습니다. 경사 하강보다 역 헤센 근사법이 더 좋습니다. 그래디언트 디센트는 학습 속도 조정이 필요하기 때문입니다.

• 때로는 많은 관측치 (데이터 포인트)가 있지만 적은 수의 관측치로부터도 거의 배울 수 있습니다. 이 경우 확률 적 경사 하강과 같은 "배치 방법"을 사용하여 관측의 하위 집합을 사용하여 순환합니다.

그라데이션 하강 방향은 계산하기에 더 저렴하고, 해당 방향으로 라인 검색을 수행하는 것이 최적의 방향으로 향하는 더 안정적이고 안정적인 진행 원입니다. 요컨대, 경사 하강은 비교적 신뢰할 수 있습니다.

Newton의 방법은 첫 번째 반복에서 Hessian을 계산해야한다는 점에서 상대적으로 비쌉니다. 그런 다음 각 반복에서 Hessian을 완전히 다시 계산하거나 (Newton의 방법에서와 같이) 저렴하지만 덜 견고한 이전 반복의 Hessian (Quasi-Newton 방법에서)을 "업데이트"할 수 있습니다.

매우 잘 동작하는 함수, 특히 완벽하게 이차 함수의 극단적 인 경우 Newton의 방법이 확실한 승자입니다. 완벽하게 이차 인 경우 Newton의 방법은 단일 반복으로 수렴됩니다.

매우 열악하게 동작하는 기능의 반대 극단적 인 경우, 경사 하강이이기는 경향이 있습니다. 검색 방향을 선택하고 해당 방향을 검색 한 다음 궁극적으로 작지만 생산적인 단계를 수행합니다. 이와는 반대로 뉴턴의 방법은 특히 준-뉴턴 근사법을 사용하려고 시도하는 경우 실패하는 경향이 있습니다.

그래디언트 디센트와 뉴턴의 방법 사이에는 Levenberg–Marquardt algorithm (LMA)과 같은 방법이 있지만 이름이 약간 혼란 스러웠습니다. 요지는 사물이 혼란스럽고 혼란 스러울 때 더 많은 그라데이션 하강 정보 검색을 사용하고, 일이 더 선형적이고 신뢰할 수있게되면 더 많은 뉴턴 방법 정보 검색으로 전환하는 것입니다.

$Hd = g$

뉴턴의 방법은 솔루션에 가까울 때 또는 헤 시안이 천천히 변화하는 경우에 잘 작동하지만 수렴 부족과 명확성 부족을 처리하기 위해 약간의 트릭이 필요합니다.

정확한 해결책보다는 개선이 필요한 경우가 종종 있는데,이 경우 Newton 또는 Newton과 유사한 방법의 추가 비용이 정당화되지 않습니다.

가변 메트릭 또는 트러스트 영역 방법과 같은 다양한 방법으로 위의 내용을 개선 할 수 있습니다.

참고로, 많은 문제에서 주요 문제는 스케일링이며 Hessian은 비용이 들더라도 우수한 스케일링 정보를 제공합니다. 만약 Hessian에 근접 할 수 있다면, 종종 성능을 상당히 향상시킬 수 있습니다. 어느 정도까지, 뉴턴의 방법은 불변성이라는 점에서 '최상의'스케일링을 제공합니다.

SGD에 Newton의 방법을 사용하는 것과 관련하여 특히 많은 어려움이 있습니다.

• 그것은 헤 시안 행렬을 필요로한다-예를 들어 합리적인 비용으로 충분한 정밀도로 시끄러운 기울기로부터 어떻게 추정 하는가?

• 완전한 Hessian은 너무 비싸다-우리는 오히려 약간의 제한이 필요하다.

• $H^{-1}$$\lambda=0$

• 뉴턴의 방법은 그라디언트 제로로 가까운 지점으로 직접 유인합니다. 대신에 격퇴하는 방법? 예를 들어 새들없는 뉴턴은 음의 곡률 방향을 반대로하지만 고유 값의 표시를 제어해야합니다.

• 온라인으로하는 것이 좋을 것입니다. 단일 지점에서 많은 계산을 수행하는 대신 더 많은 로컬 정보를 활용하는 여러 작은 단계로 분할하십시오.

우리는 작은 단계로 1 차에서 2 차로 갈 수 있습니다. 예를 들어 운동량 방법에 단지 3 개 평균의 업데이트를 추가하는 동시에 우리는 단계 크기의 더 똑똑한 선택을 위해 포물선을 그것의 방향으로 동시에 MSE에 맞출 수 있습니다. 그래디언트 디센트 하강을 위해 나머지 좌표를 계속 사용할 수 있습니다.