내가 다루는 문제는 짧은 텍스트를 여러 클래스로 분류하는 것입니다. 내 현재 접근 방식은 tf-idf 가중 항 주파수를 사용하고 간단한 선형 분류기 (로지스틱 회귀)를 배우는 것입니다. 이것은 합리적으로 잘 작동합니다 (테스트 세트에서 약 90 % 매크로 F-1, 훈련 세트에서 거의 100 %). 큰 문제는 보이지 않는 단어 / n- 그램입니다.
분포 특징을 사용하여 계산 된 고정 크기의 벡터 (word2vec로 계산) 또는 예제의 다른 범주 기능을 추가하여 분류기를 개선하려고합니다. 내 생각은 단어 모음에서 스파 스 입력 기능에 기능을 추가하는 것이 었습니다. 그러나 이로 인해 테스트 및 교육 세트에서 성능이 저하됩니다. 추가 기능 자체는 테스트 세트에서 약 80 %의 F-1을 제공하므로 쓰레기가 아닙니다. 기능을 확장해도 도움이되지 않았습니다. 나의 현재 생각은 이러한 종류의 기능이 (단순한) 단어 기능과 잘 섞이지 않는다는 것입니다.
문제는 추가 기능이 추가 정보를 제공한다고 가정하면이를 통합하는 가장 좋은 방법은 무엇입니까? 별도의 분류자를 훈련시키고 어떤 종류의 앙상블 작업으로 결합 할 수 있습니까? 고려해야 할 더 복잡한 다른 모델이 있습니까?
3
일부 업데이트 : 추가 밀도 벡터를 l2 정규화하여 허용 가능한 결과를 얻을 수있었습니다. 나는 Sklearn StandardScaler가 그렇게 할 것이라고 잘못 가정했습니다. 그래도 레이블 종속성을 모델링하거나 하위 분류 자의 신뢰도를 통합 할 수있는 더 복잡한 방법을 찾고 있습니다.
—
elmille
나는 작년에 동일한 실험을 기본으로했고 정확히 같은 문제를 겪었습니다. l2 정규화 프로세스 후 word2vec 벡터가 BOW를 이길 수 있습니까? l2 정규화를 수행하지는 않았지만 많은 사후 처리 방법 의미 벡터를 테스트 한 후에도 여전히 BOW tf / idf 기능보다 2-4 절대 퍼센트입니다. 저의 원래 추구는 밀도가 높은 의미 론적 벡터와 전통적인 BOW를 결합하여 주제 분류 / 모델링 성능을 향상시킬 수 있는지 확인하는 것입니다. BTW : 어떤 데이터 세트를 작업하고 있습니까?
CIKM 2014 경쟁을위한 데이터 세트를 사용하고있었습니다. 나를 위해, 벡터 표현은 tf-idf 가중치로 BOW를 이길 수 없었습니다. 저의 계획은 품질을 향상시키기 위해 그것들을 사용하는 것이 었습니다. 내 경험 (텍스트 분류)에서 tf-idf + n 그램이있는 선형 모델의 형태는 매우 강력한 접근 방식입니다. 나는 현재 컨볼 루션 신경망과 심지어 이길 수없는 복잡한 모델을 실험하고 있습니다.
—
elmille
모드 : 50 평판이 없어서 죄송합니다. 댓글 영역에 쓸 수 없습니다. 안녕 elmille : 그렇습니다, 그것은 내가 모든 시험에서 경험하는 것입니다. 그러나 vec + BOW 도움말이라는 단어가 있습니까? 내 경험에 따르면, 단어 vec를 BOW tf-idf와 연결하면 (이 경우 vec는 실제로 전체 기사 내에서 단어 vec가 아니지만 매우 유사한 전체 벡터입니다) 성능이 훨씬 떨어집니다. 원래 BOW + vec> BOW> vec 여야한다고 생각합니다. 상호 보조 정보가 포함되어 있기 때문입니다. 실제로 결과는 BOW> vec> BOW + vec입니다. 그런 다음 표준 스케일링 및 정규화를 수행하여 절 및 vec