확률 적 경사 하강을 누가 발명 했습니까?

Gradient descent 와 Stochastic gradient descent 의 역사를 이해하려고 합니다 . 그라데이션 하강에 발명 된 코시 1847에 부어 제너럴 메도 라 해상도 데 Systèmes의 디부 방정식 simultanées . pp. 536–538 자세한 내용은 여기를 참조 하십시오 .

그 이후로 기울기 하강 법은 계속 개발되어 왔으며 나는 그들의 역사에 익숙하지 않습니다. 특히 저는 확률 적 경사 하강의 발명에 관심이 있습니다.

학술 논문에서 환영 이상으로 사용될 수있는 참조.

확률 적 그라디언트 디센트는 Robbins와 Monro의 논문 인 Stochastic Approximation Method 에서 처음 설명한 Stochastic Approximation이 뒤 따릅니다 . 키퍼와 울포위츠는 그 후 그들의 회귀 함수의 최대치에 대한 확률 적 추정을 발표했다.주석에서 Mark Stone이 지적한 스토캐스틱 근사 (Stochastic Approximation)의 ML 변형에 대해 잘 알고있는 사람들에게 더 잘 알 수 있습니다. 60 년대에는 그 맥락에서 Dvoretzky, Powell, Blum의 많은 연구 결과가 나타났습니다. Robbins 및 Monro 방법에서 Kiefer Wolfowitz 방법으로 전환하는 것은 상대적으로 약간의 도약이며, 문제를 재구성하여 확률 적 그라디언트 디센트 (회귀 문제의 경우)에 도달하는 것입니다. 위의 논문은 Nocedal, Bottou 및 Curtis 의이 검토 논문에서 언급 한 바와 같이 확률 적 그라디언트 디센트 (Stochastic Gradient Descent)의 선행 물로 널리 인용되며 , 이는 머신 러닝 관점에서 간단한 역사적 관점을 제공합니다.

나는 그들의 책 Stochastic Approximation and Recursive Algorithms and Applications 에서 Kushner와 Yin이 그 개념이 40 년대로 거슬러 올라가는 제어 이론에서 사용되었다고 제안하지만, 그들이 인용을 받았는지 아니면 그것이 인용되었는지를 기억하지 못한다 일화도 아니고 나는 이것을 확인하기 위해 그들의 책에 접근 할 수 없다.

허버트 로빈스와 서튼 몬로 확률 론적 근사법 수학적 통계 연대, Vol. 22, No. 3. (Sep., 1951), pp. 400-407.

J. 키퍼와 J. 울포위츠 회귀 기능의 최대의 확률 추정 앤. 수학. 통계 학자. 23 권 3 호 (1952), 462-466

대규모 기계 학습을위한 Leon Bottou 및 Frank E. Curtis 및 Jorge Nocedal 최적화 방법 , 기술 보고서, arXiv : 1606.04838

보다

Rosenblatt F. 퍼셉트론 : 뇌의 정보 저장 및 구성을위한 확률 모델. 심리적 검토. 1958 년 11 월; 65 (6) : 386.

SGD가 최적화 문헌에서 이보다 먼저 발명되었는지는 확실하지 않지만 아마도 여기에서 그는 퍼셉트론을 훈련시키기 위해 SGD의 적용을 설명하고 있다고 생각합니다.

시스템이 포지티브 강화 상태 인 경우 "on"응답의 소스 세트에있는 모든 활성 A- 장치의 값에 포지티브 AV가 추가되고 소스의 활성 유닛에 네거티브 AV가 추가됩니다. - "off"응답 세트.

그는 이것을 "두 가지 유형의 강화"라고 부릅니다.

그는 또한이 "2가 시스템"에 대해 더 많은 책을 참조한다.

Rosenblatt F. 퍼셉트론 :인지 시스템에서의 통계적 분리 성 이론 (Project Para). 코넬 항공 연구소; 1958.