온라인 대 오프라인 학습?


38

오프라인 학습온라인 학습 의 차이점은 무엇입니까 ? 전체 데이터 세트 (오프라인)에 대한 학습과 점진적 학습 (한 번에 하나의 인스턴스)에 대한 학습의 문제입니까? 두 알고리즘 모두에 사용되는 알고리즘의 예는 무엇입니까?

답변:


26

온라인 학습은 데이터가 들어 오면서 수행하고 있음을 의미합니다. 오프라인은 정적 데이터 세트가 있음을 의미합니다.

따라서 온라인 학습의 경우 일반적으로 더 많은 데이터가 있지만 시간 제약이 있습니다. 온라인 학습에 영향을 줄 수있는 또 다른 주름은 시간이지나면서 개념이 바뀔 수 있다는 것입니다.

스팸을 인식하기 위해 분류기를 작성하려고한다고 가정하겠습니다. 대량의 전자 메일을 입수하여 레이블을 지정하고 분류기를 훈련시킬 수 있습니다. 이것은 오프라인 학습입니다. 또는 시스템에 들어오는 모든 전자 메일을 가져와 분류자를 지속적으로 업데이트 할 수 있습니다 (라벨이 약간 까다로울 수 있음). 이것은 온라인 학습이 될 것입니다.


7
예, 최소한 머신 러닝에서 연구 한 온라인 학습 알고리즘은 대부분 예제를 저장하는 능력이 데이터 세트의 크기에 비해 매우 제한적이라고 가정합니다. 가장 제한적인 경우 한 번에 하나의 예제 만 표시되며 분류기를 업데이트하는 데 사용한 예제를 잊어 버려야합니다.
Harlan

8

"온라인"이라는 용어에 과부하가 걸리므로 기계 학습 영역에서 혼동을 일으 킵니다.

"온라인"의 반대는 배치 학습입니다. 배치 학습에서 학습 알고리즘은 전체 배치를 사용한 후 매개 변수를 업데이트하는 반면 온라인 학습에서는 알고리즘이 1 개의 교육 인스턴스에서 학습 한 후 매개 변수를 업데이트합니다. 미니 배치 학습은 한쪽 끝의 배치 학습과 다른 쪽 끝의 온라인 학습 사이의 중간 지점입니다.

또한, 데이터가 들어올 때 또는 저장 될 수 있는지의 여부는 온라인 또는 배치 학습과 직교합니다.

온라인 학습은 배치 학습과 비교할 때 최소 점으로 수렴하는 데 더 느린 것으로 간주됩니다. 그러나 전체 데이터 세트가 메모리에 맞지 않는 경우 온라인 학습을 사용하는 것이 허용되는 상충 관계입니다.


나는 이것이 사실이라고 생각하지 않습니다. 온라인 또는 오프라인 문제 설정 모두에 사용할 수있는 최적화 알고리즘 확률론 (또는 온라인) 그라디언트 하강에 대해 설명 합니다 .
danijar

"데이터가 들어올 때"는 온라인 및 오프라인 알고리즘 en.wikipedia.org/wiki/Online_algorithm을 의미한다고 생각합니다. 온라인 학습을위한 운영 체제가이 구분을 분명히한다고 생각합니다. Online Algos-> 데이터가 들어 오면 프로세스. 온라인 학습-> 훈련 중에 기본 모델을 점진적으로 업데이트합니다.
gokul_uf

4

온라인 학습 ( 증분 학습 이라고도 함 ) : 예제의 단일 프레젠테이션을 고려합니다. 이 경우, 각 예는 학습 알고리즘에 의해 규정 된 방식으로 순차적으로 사용 된 다음 폐기된다. 주어진 단계에서 제조 된 중량의 변화는 특별히 의존 제 (현재의) 실시 예에 제시하는 가능성이 모델의 현재 상태에되어있다. 예제를 한 번에 사용할 수없는 시간 변경 규칙의 자연스러운 절차입니다.

오프라인 학습 : 가중치 변경은 전체 (훈련) 데이터 세트에 따라 달라지며 전체 비용 함수를 정의합니다. 이러한 비용 함수가 최소화 될 때까지 예제가 반복적으로 사용됩니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.