양성 사례 만 훈련으로하여 결과를 예측하는 방법은 무엇입니까?

간단하게하기 위해 스팸 / 스팸이 아닌 전자 메일의 고전적인 예를 작업하고 있다고 가정하겠습니다.

20000 개의 이메일이 있습니다. 이 중 2000은 스팸이라는 것을 알고 있지만 스팸이 아닌 전자 메일의 예는 없습니다. 나머지 18000이 스팸인지 아닌지를 예측하고 싶습니다. 이상적으로, 내가 찾은 결과는 전자 메일이 스팸 일 확률 (또는 p- 값)입니다.

이 상황에서 현명한 예측을하기 위해 어떤 알고리즘을 사용할 수 있습니까?

현재는 이메일이 알려진 스팸 이메일과 얼마나 유사한 지 알려주는 거리 기반 방법을 생각하고 있습니다. 어떤 옵션이 있습니까?

좀 더 일반적으로지도 학습 방법을 사용할 수 있습니까, 아니면 반드시 훈련 세트에 부정적인 경우가 있어야합니까? 감독되지 않은 학습 접근 방식으로 제한됩니까? 반 감독 방법은 어떻습니까?

이를 긍정적이고 레이블이없는 데이터로부터의 학습 또는 짧은 기간 동안 PU 학습이라고하며, 반 감독 학습의 틈새 시장입니다.

간단히 말해서 학습 과정에서 레이블이없는 데이터를 사용하는 것이 중요합니다. 알려진 양성에 대해 독점적으로 훈련 된 소위 단일 클래스 분류기에 비해 크게 개선 된 모델을 생성하기 때문입니다. 레이블이없는 데이터는 여러 가지 방법으로 통합 될 수 있으며, 주요 접근 방식은 다음과 같습니다.

• 어떤 식 으로든 레이블이없는 데이터에서 가능한 음의 집합을 유추 한 다음 알려진 추정과 이러한 유추 된 음을 구별하기 위해 감독 된 모델을 훈련시킵니다.
• 레이블이없는 세트를 음수로 취급하고 존재하는 것으로 알려진 레이블 노이즈를 설명합니다.

나는이 분야에서 활발히 활동하고 있으며 여기에 요약 해 놓지 않고 두 가지 논문과 그 안의 참고 문헌을 읽고 도메인에 대한 개요를 얻는 것이 좋습니다.

• 포지티브 및 라벨링되지 않은 데이터에서 모델을 학습하는 최신 기술 (공식 게시는 여기에서 제공 ) : http://arxiv.org/abs/1402.3144
• 알려진 부정적인 결과없이 일반적으로 사용되는 성능 메트릭을 계산하는 기술입니다 (검토 중, 이는 최초입니다) : http://arxiv.org/abs/1504.06837

18000 건에 스팸 사례가 많지 않다고 가정합니다. 이에 대한 학습 학습 접근법을 사용하려면 데이터에 둘 이상의 범주 / 클래스가 있어야합니다. 2000 건의 사례가 스팸이라는 것을 알고 있으므로 나머지 18000 건의 사례를 '알 수없는 카테고리'로 분류하고 감독 학습 모델을 교육하여 사례가 스팸인지 알 수없는 카테고리에 있는지 예측할 수 있습니다. 그런 다음 표본 외 모델 정확도를 확인하여 모델이 두 범주를 구분하는 데 얼마나 효과적인지 확인하십시오. 제대로 작동하면 '알 수없는'범주의 스팸 사례가 거의 없다는 가정이 보증됩니다. 잘 수행되지 않으면 데이터에서 별도의 동종 그룹을 클러스터링하고 식별하기 위해 비지도 학습자 (kmeans 등)를 사용해야합니다. 그런 다음 2000 개 스팸 이메일을 가장 많이 포함하는 클러스터를 식별하십시오. 그렇지 않은 것을 각각 스팸 및 스팸이 아닌 것으로 표시합니다. 다음으로 앞에서 설명한 것처럼지도 학습자를 사용하여 모델링을 진행할 수 있습니다.

OP가 말하는 것은 일류 분류 작업인데, 이는 매우 어려운 작업입니다.

이 작업에 대한 여러 연구 분야에 대한 많은 논문이 있습니다. 또한 Ensemble Learning을 기반으로 한 효율적인 고유 권한 검증 체계를 작성했습니다 . 작성자보다는 스팸 / 스팸이 아닌 스팸을 분류하기 위해 쉽게 적용 할 수 있습니다. 시도해보고 자세한 내용이 필요하면 알려주십시오 ...