현재 John Duchi와 Yoram Singer의 Forward-Backward Splitting 을 사용한 Efficient Online and Batch Learning 논문을 읽었습니다 . '온라인'과 '배치'라는 용어의 사용법에 대해 매우 혼란스러워합니다.
'온라인'은 훈련 데이터의 한 단위를 처리 한 후 가중치 매개 변수를 업데이트하는 것을 의미한다고 생각했습니다. 그런 다음 새로운 가중치 매개 변수를 사용하여 다음 훈련 데이터 단위를 처리합니다.
그러나 위의 논문에서는 사용법이 명확하지 않습니다.
답변:
나에게 그들은 배치 및 온라인 학습을 올바르게 사용하는 것처럼 보입니다. 섹션 3에서는 학습, 즉 배치 학습을 수행하기 위해 전체 데이터 세트에 대해 작업하고 있으며 섹션 4에서는 온라인 학습 알고리즘으로 사용할 수있는 확률 적 그라디언트로 전환합니다.
온라인 학습 알고리즘으로 확률 적 그라디언트를 사용한 적이 없습니다. 그러나 학습 실행 중에 최적화 프로세스를 중지하는 것이 가능하며 여전히 유용한 모델입니다. 매우 큰 데이터 세트의 경우 수렴을 측정하고 학습을 조기에 종료 할 수 있으므로 유용합니다. 내가 생각하는 것처럼 모든 새 데이터 포인트에 대한 모델을 업데이트하기 때문에 확률 적 그라디언트를 온라인 학습 방법으로 사용할 수 있습니다. 하지만 "훈련 데이터 당"이라고 부르는 것에주의해야합니다. 교육 데이터는 데이터 포인트가 아니라 데이터 세트이지만 " 교육 데이터 당 "이라고 말한 이후로 귀하를 이해했다고 생각 합니다.
한마디로
온라인 : 관찰 된 각 패턴을 기반으로 학습합니다.
배치 : 후두둑 그룹 학습. 대부분의 알고리즘은 배치입니다.
출처 : http://machinelearningmastery.com/basic-concepts-in-machine-learning/
온라인 학습과 배치
온라인 모드와 배치 모드는 약간 다르지만 포물선 성능 표면에서는 성능이 우수합니다. 한 가지 큰 차이점은 배치 알고리즘이 시스템 가중치를 일정하게 유지하면서 입력의 각 샘플과 관련된 오류를 계산한다는 것입니다. 온라인 버전은 지속적으로 가중치를 업데이트하기 때문에 오류 계산 (및 그레디언트 추정)은 각 입력 샘플에 대해 서로 다른 가중치를 사용합니다. 즉, 적응하는 동안 두 알고리즘이 서로 다른 지점 세트를 방문합니다. 그러나 둘 다 동일한 최소 수렴합니다.
동일한 수의 데이터 표시에 대한 두 가지 방법의 가중치 업데이트 수는 매우 다릅니다. 온라인 방법 (LMS)은 각 샘플을 업데이트하는 반면, 배치는 각 시대를 업데이트합니다.
LMS 업데이트 = (일괄 업데이트) x (트레이닝 세트의 샘플 수).
배치 알고리즘은 계산 횟수 측면에서 약간 더 효율적입니다.