온라인 학습 이해에 대한 좋은 참고 자료는 무엇입니까?

특히, 운영 중에 각자의 신념 네트워크 (또는 이와 동등한)를 업데이트 할 수있는 기계 학습 시스템에 대해 배울 수있는 자료를 요청합니다. 나는 그것들을 북마크에 넣지 못했지만 몇 개를 뛰어 넘었습니다.

상상할 수 있듯이 인터넷에서 검색하는 것은 다소 어려운 주제입니다.

대부분의 온라인 학습 알고리즘은 다음 계보 중 하나 이상에서 제공됩니다.

• 지각

  최첨단 퍼셉트론은 수동적 공격적 알고리즘 , 구조화 된 퍼셉트론 및 그 다양한 종류입니다.

• 윈 노우

  이 윈 노우는 지수 형 그래디언트 방법 으로 재구성되었으며 구조화 된 문제 에도 적용될 수 있습니다 . SMIDAS 와 같이 L1 정규화를 직접 처리하는 종류 (예 : 희소성을 보장하기 위해)도 있습니다 .

• 확률 적 경사 하강

  확률 적 그라디언트 디센트는 배치 문제에 온라인 최적화를 적용 할 때 발생합니다. 최신 알고리즘은 Leon Bottou의 LaSVM , Pegasos 이며,이 설정에서 많은 신경망 알고리즘을 쉽게 학습 할 수 있습니다. 많은 예제 는 theano 자습서 를 참조하십시오 . 온라인 EM이 여기에 해당 할 수도 있습니다.

• 입자 필터링

  이를 rao-blackwellized 추론이라고도하며 더 많은 데이터가 도착하면 그래픽 / 확률 모델을 업데이트 할 수 있습니다. 좋은 예는 온라인 토픽 모델 과 SMC 의 NIPS 튜토리얼입니다 .

온라인-배치 변환 , 커널을 이용한 온라인 학습을위한 예산 기술 ( 이 백서 , 이 백서 및 이 백서 ) 과 같은 온라인 학습과 관련한 광범위한 문제 , 다양한 일반화 범위, 희소성 문제 (및 희소성 문제) 위에서 언급 한 SMIDAS 백서), 메모리 절약을위한 해싱 및 기타 여러 문제가 있습니다.

Avrim Blum은 "기계 학습의 온라인 알고리즘" http://www.cs.cmu.edu/~avrim/Papers/survey.ps로 시작하는 훌륭한 설문지입니다 .

온라인 학습의 이론에 대한 정보를 찾고 있다면 Cesa-Bianchi와 Lugosi 의 저서가 확실한 참고 자료입니다.

Yoram Singer와 Shai Shalev Shwartz의 ICML 2008에서 온라인 학습의 이론과 실제에 대한 유용한 자습서 가 있습니다.

기계 학습-강의 자료-Stanford http://www.stanford.edu/class/cs229/materials.html

기계 학습 및 인공 지능 비디오 강의 http://freescienceonline.blogspot.com/2007/07/machine-learning-and-artificial.html

기계 학습을위한 가우스 프로세스 http://www.gaussianprocess.org/gpml/