퍼셉트론은 잊을 수 있습니까?

사용자가 분류 된 샘플을 지속적으로 추가하고 모델을 온라인으로 업데이트 할 수있는 온라인 웹 기반 기계 학습 시스템을 구축하고 싶습니다. 퍼셉트론 또는 이와 유사한 온라인 학습 알고리즘을 사용하고 싶습니다.

그러나 사용자는 실수를하고 관련이없는 예를 삽입 할 수 있습니다. 이 경우 전체 예제 세트에서 퍼셉트론을 다시 훈련시키지 않고 특정 예제를 삭제할 수있는 옵션을 원합니다 (매우 클 수 있음).

이게 가능해?

machine-learning online-algorithms

— 엘렐 시갈-할레 비
소스

매우 흥미로운 아이디어입니다. 이것을 공식화하기 위해 노력 했습니까?

— Strin

퍼셉트론 모델과 분류기의 세부 사항을 감안할 때 올바른 분류로 예제를 다시 삽입하면 어떻게됩니까? 이것이 잘못된 내부 레이어 뉴런의 무게를 줄이고 오른쪽 내부 레이어 뉴런의 무게를 늘리지 않습니까?

— 방황 논리

샘플을 다시 삽입하면 어떤 식 으로든 도움이 될 수 있지만,이 경우 퍼셉트론의 정확성 및 수렴 증명이 확실하지 않습니다 (즉, 결과가 잘못된 샘플이있는 상황과 일치하지 않을 수 있습니다) 처음부터 삽입되지 않았습니다).

— Erel Segal-Halevi

순진한 솔루션으로, 각각의 새로운 샘플이 추가되기 전에 퍼셉트론의 무게를 기록 할 수 있습니다. 그런 다음 샘플을 제거하려면 "나쁜"예제를 추가하기 전에 퍼셉트론의 가중치를 해당 값으로 다시 설정하고 "나쁜"예제 뒤에 추가 된 모든 유효한 예제를 사용하여 퍼셉트론을 다시 학습하십시오. 여기에는 재교육이 필요하지만 전체 예제 세트에는 해당되지 않습니다. 물론 예와 관련 가중치에 대한 기록을 유지해야합니다.

— rphv

프로세스를 이해하면 재교육없이 퍼셉트론을 변경하는 것은 불가능합니다. 가중치 조정은 해당 특정 예와 관련이있을뿐만 아니라 이전의 다른 교육 예와도 관련이 있습니다. 모델을 재교육하기 전에 잘못 분류 된 인스턴스를 식별하고 테스트 세트에서 제거하는 것이 가중치를 수정하는 가장 효과적인 방법 인 것 같습니다.

다른 머신 러닝 알고리즘과 비교할 때 퍼셉트론은 훈련 세트에서 노이즈와 잘못 분류 된 인스턴스에 상대적으로 내성이 있다고 지적 할 가치가 있다고 생각합니다 . 잘못 분류 된 인스턴스가 많이 발생하는 경우 퍼셉트론이 훈련 된 후 잘못 분류 된 인스턴스를 수정하는 방법보다 훈련 전에 데이터를 수집하는 시점에서 더 나은 유효성 검사를 수행하는 것이 더 현명 해 보일 것입니다. 이것이 불가능하고 잘못 분류 된 인스턴스를 식별 할 수있는 경우이를 제거하고 재교육하면 잘못 분류 된 인스턴스의 영향을 효과적으로 제거 할 수있는 유일한 방법 인 것 같습니다.

— 리차드 D
소스