오프라인과 온라인 학습의 모델 선택

나는 최근 온라인 학습에 대해 더 많이 배우려고 노력했지만 (절대적으로 흥미 롭습니다!) 내가 잘 이해하지 못한 주제 중 하나는 오프라인과 온라인 컨텍스트에서 모델 선택에 대해 생각하는 방법입니다. 특히, 일부 고정 데이터 세트 에 따라 분류 자 오프라인으로 학습한다고 가정 합니다. 예를 들어, 교차 검증을 통해 성능 특성을 추정하고이 방법으로 가장 적합한 분류기를 선택합니다.$S$$D$

이것이 제가 생각한 것입니다. 그렇다면 온라인 환경에 를 적용하는 방법은 무엇 입니까? 오프라인에서 찾은 최고의 도 온라인 분류기로도 잘 작동 한다고 가정 할 수 있습니까 ? 를 훈련시키기 위해 일부 데이터를 수집 한 다음 동일한 분류 자 를 가져 와서 에서 찾은 동일한 매개 변수를 사용하여 온라인 설정에서 "작동" 하는 것이 합리적 입니까? 이 경우주의 사항은 무엇입니까? 주요 결과는 무엇입니까? 기타 등등.S S S $S$$S$$S$$S$$D$

어쨌든, 지금 거기에 있습니다. 내가 찾고있는 것은 저 (그리고 이런 종류의 것을 생각하고있는 다른 사람들이) 오프라인 용어로만 생각하는 것에서 전환하는 데 도움이되는 참고 자료 또는 자료라고 생각합니다. 내 독서가 진행됨에 따라 모델 선택 문제와 이러한 질문에 대해보다 일관된 방식으로 생각할 수있는 정신적 틀을 개발하십시오.

스트리밍 환경에서는 교차 검증을 수행하기 위해 데이터를 기차 및 테스트 세트로 분할 할 수 없습니다. 데이터가 변경되고 모델이 변경 사항에 적응할 것이라고 가정 할 때 초기 열차 세트에서 계산 된 메트릭 만 사용하면 소리가 더 나빠 집니다.

$k$$k+1$

결국, 전체 정확도 추정치를 얻기 위해 어쨌든 평균 (일반적으로 산술 평균이지만 지수 평활과 같은 것을 사용할 수 있음) 오류 메트릭을 사용합니다.

온라인 시나리오에서 이것은 시점 1에서 시작하여 시점 2에서 테스트하고 다음 시점 2에서 다시 훈련하여 시점 3에서 테스트하는 것을 의미합니다.

이러한 교차 유효성 검사 방법을 통해 모델 성능의 변화하는 특성을 설명 할 수 있습니다. 모델이 데이터에 적응하고 데이터가 변경 될 수 있으므로 오류 메트릭을 정기적으로 모니터링해야합니다. 그렇지 않으면 고정 크기의 기차 및 테스트 세트를 사용하는 것과 크게 다르지 않습니다.