스펙트로 그램을 사용하여 소리 (예 : 동물 소리)를 분류 할 수있는 가능성을 조사했습니다. 아이디어는 깊은 컨볼 루션 신경망을 사용하여 스펙트로 그램의 세그먼트를 인식하고 하나 (또는 많은) 클래스 레이블을 출력하는 것입니다. 이것은 새로운 아이디어가 아닙니다 (예 : 고래 소리 분류 또는 음악 스타일 인식 참조 ).
내가 직면하고있는 문제는 길이가 다른 사운드 파일이 있고 크기가 다른 스펙트로 그램이라는 것입니다. 지금까지 내가 본 모든 접근 방식은 고정 된 크기의 사운드 샘플을 사용하지만 사운드 파일의 길이가 10 초 또는 2 분이기 때문에이를 수행 할 수 없습니다.
예를 들어 처음에는 새 소리가 나고 끝에는 개구리 소리가납니다 (출력은 "새, 개구리"여야 함). 내 현재 솔루션은 신경망에 임시 구성 요소를 추가하는 것 (재귀 신경망을 더 많이 생성하는 것)이지만 지금은 간단하게 유지하고 싶습니다. 어떤 아이디어, 링크, 튜토리얼 ...?
1
가장 간단한 방법은 STFT (스펙 토 그램) 대신 고정 길이 FFT를 사용하는 것입니다. 그러면 가변 길이 문제가 해결됩니다. 왜 반복적 인 신경망을 적용하지 않습니까? 실례가 필요하십니까? 그렇다면 어떤 소프트웨어를 사용할 수 있습니까?
—
Emre
고정 길이 FFT로 많은 정보를 잃을 것이라고 생각합니다. 그렇게하려면 먼저 '흥미로운'부분을 찾는 분할을 먼저 수행해야한다고 생각합니다. 나는 그렇게하거나 반복적 인 신경망에 갈 수 있습니다 (예는 훌륭하지만 꼭 필요한 것은 아닙니다. Lasagne를 사용하고 싶었습니다). 내가 그것을 피하려고하는 이유는 반복 신경 네트워크의 출력을 다루기가 더 어렵 기 때문입니다 (각 단계마다 있지만 전체 파일의 레이블 만 있습니다). 그래서 가장 간단한 모델부터 시작하여 점차 더 복잡하게 만들고 싶었습니다.
—
user667804
사용한 결과와 찾은 최선의 방법을 알려주시겠습니까? @ user667804
—
nia
이 백서에서 해결책을 확인하십시오. ceur-ws.org/Vol-1609/16090547.pdf 고정 된 크기의 스펙트로 그램 청크에 CNN을 사용한 다음 출력을 평균화하여 최종 예측을 생성합니다 (개별 출력의 평균을 의미 함) 베스트).
—
user667804