데이터 과학 nlp

2

나는 수천 개의 문자열 목록을 가지고 있으며 각 목록에는 약 10 개의 문자열이 있습니다. 주어진 목록에있는 대부분의 문자열은 매우 유사하지만 일부 문자열은 다른 문자열과 거의 관련이 없으며 일부 문자열에는 관련이없는 단어가 포함되어 있습니다. 그것들은 표준 문자열의 시끄러운 변형으로 간주 될 수 있습니다. 각 목록을이 표준 문자열로 변환하는 알고리즘이나 라이브러리를 찾고 …

10 nlp similarity information-retrieval

1

영어 문장의 복잡성을 결정하는 방법?

사람들이 제 2 언어로 영어를 배우도록 돕기 위해 앱을 개발 중입니다. 추가 문맥을 제공함으로써 문장이 언어를 배우는 데 도움이된다는 것을 확인했습니다. 나는 60 명의 학생들로 구성된 작은 교실에서 작은 연구를 수행함으로써 그렇게했습니다. 다양한 영어 단어 (Barrons'800 단어 및 1000 개의 가장 일반적인 영어 단어 포함)에 대해 Wikipedia에서 수십만 문장을 채굴했습니다. …

10 machine-learning classification nlp text-mining

5

좋은 단어 중지 목록을 만드는 방법

중지 단어 목록을 큐 레이트하는 방법에 대한 힌트를 찾고 있습니다. 누군가가 사전 처리 및 필터링을 위해 데이터 세트 자체에서 중지 단어 목록을 추출하는 좋은 방법을 알고 있거나 추천 할 수 있습니까? 자료: 수년에 걸쳐 가변 길이 (검색어 및 전체 문장 (최대 200 자))의 방대한 양의 인간 텍스트 입력. 이 텍스트에는 …

9 data-mining nlp information-retrieval language-model

1

NER에 Vowpal Wabbit 사용

Vowpal Wabbit (VW)는 SEARN을 통한 시퀀스 태깅 기능을 지원합니다 . 문제는 설명과 예제가있는 자세한 매개 변수 목록을 찾을 수 없다는 것입니다. 내가 찾을 수있는 가장 좋은 예는 Zinkov의 블로그 항목 입니다. 주요 위키 페이지는 거의 SEARN을 언급하고있다. 체크 아웃 된 소스 코드에서 일부 NER 샘플 데이터가있는 데모 폴더를 찾았습니다. 불행히도, …

9 machine-learning nlp

«nlp» 태그된 질문