로지스틱 회귀 분류 기가 있다고 가정 해 봅시다. 일반적인 배치 학습에서는 과적 합을 방지하고 체중을 작게 유지하는 정규화 용어가 있습니다. 또한 기능을 정규화하고 확장합니다.
온라인 학습 환경에서 지속적인 데이터 스트림을 받고 있습니다. 각 예제에서 그라디언트 하강 업데이트를 수행 한 다음 버립니다. 온라인 학습에서 기능 스케일링 및 정규화 용어를 사용해야합니까? 그렇다면 어떻게 할 수 있습니까? 예를 들어, 확장 할 교육 데이터 세트가 없습니다. 또한 정규화 매개 변수를 조정하기 위해 유효성 검사를 설정하지 않았습니다. 아니라면 왜 안됩니까?
온라인 학습에서 지속적으로 예제를 얻습니다. 각각의 새로운 예에 대해 예측을합니다. 그런 다음 다음 단계에서 실제 목표를 가져오고 그라디언트 하강 업데이트를 수행합니다.
답변:
오픈 소스 프로젝트 vowpal wabbit 에는 온라인 SGD 구현이 포함되어 있으며, 이는 가중치 업데이트에 영향을 미치는 3 가지 추가 요소에 대한 온라인 (온라인) 계산으로 향상됩니다. 이러한 요소는 각각의 명령 줄 옵션으로 활성화 / 비활성화 할 수 있습니다 (기본적으로 세 가지 --sgd옵션 이 모두 켜져 있고 옵션은 모두 꺼져 있습니다 (예 : "클래식"SGD의 폴백)).
3 가지 SGD 향상 옵션은 다음과 같습니다.
--normalized 각 기능의 규모에 맞게 조정 된 업데이트--adaptive 적응 형 그래디언트 (AdaGrad) 사용 (Duchi, Hazan, Singer)--invariant 중요 인식 업데이트 (Karampatziakis, Langford)또한 온라인 학습 프로세스가 다음을 위해 3 방향 자동 보상 / 조정을 수행하도록합니다.
결론은 학습자를 덜 편향적이고 효과적으로 만들기 위해 다른 기능을 사전 정규화하거나 확장 할 필요가 없다는 것입니다.
또한 vowpal Wabbit 은 정규화 옵션을 사용하여 잘린 경사 하강을 통해 온라인 정규화를 구현합니다.
--l1 (L1- 노름)--l2 (L2- 노름)여러 데이터 세트에서 이러한 개선 사항에 대한 나의 경험은 각각이 코드에 도입 될 때 모델 정확도가 향상되고 수렴이 원활 해졌다는 것입니다.
다음은 이러한 개선 사항과 관련된 자세한 학술 논문입니다.
--power_t하고 --initial_t전역 적 (기능별이 아닌) 독립 옵션 인 한. --sgd"클래식"SGD로 되돌아갑니다. IOW은 : --sgd만 취소 --invariant, --normalized및 --adaptive(이 별도의 당 기능 학습 비율을 의미)
이 백서에서는 로지스틱 회귀 분석을 포함하여 다양한 알고리즘에 적용되는 온라인 정규화 기법에 대해 설명합니다. http://ai.stanford.edu/~chuongdo/papers/proximal.pdf
예, 확실히 정규화가 필요합니다 ... 그라데이션 강하에 도움이됩니다 (그리고 학습 속도를 1 / C로 초기화하십시오)
예 : SGD-QN 용지 http://leon.bottou.org/papers 참조 bottou의 논문
온라인 학습이 의미하는 바를 실제로 설명하지 않았습니다. 예를 들어 각 포인트마다 목표 가치가 있습니까? 어떻게 통합 할 지 모르겠습니다 ... C 검색 ... 다른 정규화 용어를 가진 여러 분류 기가 있고 예측 오류를 추적합니다 (무게를 업데이트하기 전에)