사람의 말과 비슷한 오디오의 결정

이 문제에 대한 답을 찾고있는 동안,이 게시판 은 Stack Overflow 에서이 질문을 게시하기로 결정했습니다 .

오디오 세그먼트와 사람의 음성 사이의 유사성을 결정하는 방법을 찾고 있는데, 이는 숫자로 표현됩니다.

나는 꽤 많이 검색했지만 지금까지 찾은 것 (아래에 자세히 설명되어 있음)은 내가 필요한 것에 실제로 맞지 않습니다.

• 한 가지 방법은 음성 인식 소프트웨어를 사용하여 오디오 세그먼트에서 단어를 얻는 것입니다. 그러나이 방법은 "유사한"오디오가 사람의 언어와 얼마나 유사한지를 생각 해낼 수 없습니다. 종종 오디오에 단어가 있는지 여부를 알 수 있지만 명확한 단어가 없으면 오디오에 그런 단어가 있다는 것을 알 수 없습니다.
  예 : CMU 스핑크스 , 잠자리 , SHoUT

• 보다 유망한 방법을 VAD ( Voice Activity Detection )라고합니다. 그러나 VAD를 사용하는 알고리즘 / 프로그램은 활동 임계 값에 도달했는지 여부와 해당 임계 값 전후에 "유사성"값을 반환하지 않는 경향이 있습니다. 대안 적으로, 많은 사람들은 인간의 말과 유사하지 않고 볼륨 만 찾습니다.
  예 : Speex , 리스너 , FreeSWITCH

어떤 아이디어?

이러한 종류의 문제는 일반적으로 기계 학습 기술을 사용하여 해결됩니다.

신호를 20ms 또는 50ms 프레임 시퀀스로 분류하십시오. 각 프레임에서 기능을 추출하십시오. MFCC는 일반적으로 이러한 종류의 응용 프로그램에 적합하지만 음성 감지 (4Hz 변조 에너지-사람들이 말하는 속도, 제로 크로싱 속도)에 더 특정한 기능이 있습니다.

그런 다음, 음성 / 비음이 아닌 것으로 수동으로 레이블이 지정된 교육용 오디오 세트를 사용하여 프레임 기능에서 분류기 (가우스 혼합 모델, SVM ...)를 교육하십시오.

이렇게하면 레이블이없는 프레임을 음성 / 비 음성 클래스로 분류 할 수 있습니다. 마지막 단계는 예를 들어 HMM을 사용하거나 중간 필터와 같은 의사 결정을 부드럽게하는 것입니다 (수백 개의 음성 프레임으로 둘러싸인 비 음성으로 분류 된 프레임은 분류 오류 일 수 있음).

몇 가지 참조 :

오디오 문서의 강력한 음성 / 음악 분류 (Pinquier & al) 멀티미디어 응용 프로그램을위한 음성 / 음악 구별 (El-Maleh & al) 음성 / 음악 구별 기능 비교 (Carey & al)

그들이 설명하는 특징과 분류 기술은 (음성 식별 대 다른 것 대신) 음성을 감지하는 일류 문제와도 관련이 있습니다. 이 경우 1 클래스 SVM과 같은 1 클래스 모델링 기술을 사용하거나 음성 데이터에 대해 학습 된 GMM에서 "음성"측정 값으로 가능성 점수를 얻을 수 있습니다.

반면에, 문제가 스피치와 다른 것을 구별하는 것 (음악과 같은) 인 경우, 이 컨텐츠 자체를 식별하는 대신 유사한 오디오 컨텐츠 ​​사이의 경계를 감지하는 데 중점을 둔 감독되지 않은 접근 방식 을 사용할 수도 있습니다.