신경망에 왜 경사 하강을 사용합니까?

1. 역 전파 알고리즘을 사용하여 신경망을 훈련 할 때, 경사 하강 법이 가중치 업데이트를 결정하는데 사용된다. 내 질문이있다 : 오히려 천천히 일정한 무게에 대한 최소한의 포인트를 찾을 그라데이션 하강 방법을 사용하는 것보다, 왜 우리는 단지 파생 설정하지 , 그리고 오차를 최소화하는 무게 값 를 찾으 십니까?$\frac{d(\text{Error})}{dw}=0$$w$

2. 또한 역 전파의 오차 함수가 최소가되는 이유는 무엇입니까? 대신 오류 기능이 최대라는 것을 알 수 없습니까? 임의의 가중치 및 입력 벡터를 가진 임의의 숨겨진 노드가있는 네트워크가 항상 약간의 오류 기능을 제공하도록 보장하는 스쿼시 기능의 특정 속성이 있습니까?

1. 우리는 할 수 없기 때문에. 가중치 w 의 함수 인 최적화 표면 는 비선형이며 d S ( w )에 대한 닫힌 형태 솔루션이 없습니다.$S(\mathbf{w})$$\mathbf{w}$.$\frac{d S(\mathbf{w})}{d\mathbf{w}}=0$

2. 정의에 따라 구배 하강. 내림차순으로 고정 점에 도달하면 (로컬) 최소값 또는 안 장점이어야하지만 로컬 최대 값은 아닙니다.

Marc Claesen의 대답에 따르면, 지역 최대 값으로 초기화하거나 운이 잘못되거나 잘못 된 비율 매개 변수로 인해 그라데이션 하강 이 로컬 최대 값에서 멈출 수 있다고 생각합니다 . 로컬 최대 값은 그라디언트가없고 알고리즘은 수렴 된 것으로 생각합니다. 그렇기 때문에 종종 다른 시작점에서 여러 번 반복을 실행하고 그 과정에서 값을 추적합니다.

뉴턴 유형의 방법에서 각 단계에서 d ( error )를 해결합니다.문제의선형화 된또는 대략적인 버전의 경우 d w =0입니다. 그런 다음 새로운 점에 대해 문제가 선형화되고 수렴 될 때까지 프로세스가 반복됩니다. 어떤 사람들은 신경망을 위해 그것을 해왔지만 다음과 같은 단점이 있습니다.$\frac{d(\text{error})}{dw}=0$

• 이차 미분 (헤 시안, 특히 헤 시안 벡터 제품)을 다룰 필요가있다.
• "해결 단계"는 계산 비용이 매우 많이 듭니다. 해결을하는 데 걸리는 시간에 많은 경사 하강 반복을 수행했을 수 있습니다.

하나는 Hessian solve에 Krylov 방법을 사용하고 Hessian에는 좋은 전제 조건을 사용하지 않으면 대략 균형을 이루는 비용-Newton 반복이 훨씬 오래 걸리지 만 더 많은 진행이 이루어 지므로 총 시간이 대략적으로 소요됩니다 경사 하강보다 같거나 느리다. 다른 한편으로, 좋은 Hessian 선 조건자가 있다면 Newton의 방법이 큰 성공을 거두게됩니다.

즉, 신뢰 영역 인 Newton-Krylov 방법은 현대의 대규모 최적화에서 금본위 제이며, 사람들이 점점 더 큰 문제를 해결하기 위해 앞으로 몇 년 동안 신경망에서 그 사용이 증가 할 것으로 기대합니다. (또한 수치 최적화에 더 많은 사람들이 기계 학습에 관심을 가질수록)