파이썬 3 - 부분적인 해결책 ( 760 742 734 710 705 657 자)
(마지막 편집; 약속합니다)
이것은 정말, 예쁘고 매우 어려운 문제인 것 같습니다 (특히 음표의 시작 또는 끝을 인식하는 것). 음악의 자동 전사는 열린 리서치 주제 인 것 같습니다 (아무것도 아는 것이 아님). 다음은 음표 분할을 수행하지 않는 부분 솔루션입니다 (예 : 주파수가 들릴 때 "Twinkle"을 한 번에 모두 인쇄 함). 해당 특정 ogg 파일에서만 작동합니다.
A=-52
F=44100
C=4096
import pyaudio as P
import array
import scipy.signal as G
import numpy as N
import math
L=math.log
i=0
j=[9,2,0,2,4,5,7,9]
k=[2,4,5,7]
n=j+k+k+j
w="Twinkle, |twinkle, |little |star,\n|How I |wonder |what you |are.\n|Up a|bove the |world so |high,\n|Like a |diamond |in the |sky.\n".split('|')
w+=w[:8]
e=P.PyAudio().open(F,1,8,1,0,None,0,C)
while i<24:
g=array.array('h',e.read(C));b=sum(map(abs,g))/C
if b>0 and 20*L(b/32768,10)>A:
f=G.fftconvolve(g,g[::-1])[C:];d=N.diff(f);s=0
while d[s]<=0:s+=1
x=N.argmax(f[s:])+s;u=f[x-1];v=f[x+1]
if int(12*L(((u-v)/2/(u-2*f[x]+v)+x)*F/C/440,2))==n[i]+15:print(w[i],end='',flush=1);i+=1
이것은 필요합니다 ...
- Python 3 (Windows 64 비트에서 3.3으로 테스트 ... theroy의 Mac / Linux에서 작동 해야 함 )
- PyAudio ( PyAudio 페이지의 Windows 바이너리 패키지가 작동하지 않았으므로 here 에서 Windows 바이너리 패키지를 사용했습니다)
- SciPy와 NumPy ( 같은 사이트에서 scipy-stack을 사용했습니다 )
마이크, 주변 소리의 양, 노래가 얼마나 큰지 등에 따라 맨 위 줄의 A = -52 (최소 진폭)를 변경합니다. 내 마이크에서 -57 미만이 많은 외부 노이즈를 포착하는 것 같습니다 -49 이상은 매우 큰 소리로 연주해야합니다.
이것은 더 많은 골프를 쳤다; 특히 단어 배열에 많은 문자를 저장할 수있는 방법이 있다고 확신합니다. 이것은 파이썬에서 처음으로 중요하지 않은 프로그램이므로 아직 언어에 익숙하지 않습니다.
https://gist.github.com/endolith/255291 에서 자동 상관을 통해 주파수 감지 코드를 훔쳤습니다.
언 골프 드 :
import pyaudio
from array import array
import scipy.signal
import numpy
import math
import sys
MIN_AMPLITUDE = -52
FRAMERATE = 44100
def first(list):
for i in range(len(list)):
if(list[i] > 0):
return i
return 0
# Based on: https://en.wikipedia.org/wiki/Decibel#Acoustics
def getAmplitude(sig):
total = 0;
elems = float(len(sig))
for x in sig:
total += numpy.abs(x) / elems
if(total == 0):
return -99
else:
return 20 * math.log(total / 32768., 10)
# Based on: https://en.wikipedia.org/wiki/Piano_key_frequencies
def getNote(freq):
return int(12 * math.log(freq / 440, 2) + 49)
# --------------------------------------------------------------------------
# This is stolen straight from here w/ very slight modifications: https://gist.github.com/endolith/255291
def parabolic(f, x):
return 1/2. * (f[x-1] - f[x+1]) / (f[x-1] - 2 * f[x] + f[x+1]) + x
def getFrequency(sig):
# Calculate autocorrelation (same thing as convolution, but with
# one input reversed in time), and throw away the negative lags
corr = scipy.signal.fftconvolve(sig, sig[::-1], mode='full')
corr = corr[len(corr)/2:]
# Find the first low point
diffs = numpy.diff(corr)
# Find the next peak after the low point (other than 0 lag). This bit is
# not reliable for long signals, due to the desired peak occurring between
# samples, and other peaks appearing higher.
# Should use a weighting function to de-emphasize the peaks at longer lags.
start = first(diffs)
peak = numpy.argmax(corr[start:]) + start
return parabolic(corr, peak) * (FRAMERATE / len(sig))
# --------------------------------------------------------------------------
# These are the wrong keys (ie it is detecting middle C as an A), but I'm far too lazy to figure out why.
# Anyway, these are what are detected from the Wikipedia .ogg file:
notes = [73, 66, 64, 66, 68, 69, 71, 73, 66, 68, 69, 71, 66, 68, 69, 71 ]
words = ["Twinkle, ", "twinkle, ", "little ", "star,\n", "How I ", "wonder ", "what you ", "are.\n", "Up a", "bove the ", "world so ", "high,\n", "Like a ", "diamond ", "in the ", "sky.\n"]
notes += notes[:8]
words += words[:8]
pa = pyaudio.PyAudio()
stream = pa.open(format=pyaudio.paInt16, channels = 1, rate = FRAMERATE, input = True, frames_per_buffer = 4096)
idx = 0
while(idx < len(notes)):
# Read signal
sig = array('h', stream.read(4096))
if(getAmplitude(sig) > MIN_AMPLITUDE):
note = getNote(getFrequency(sig))
if(note == notes[idx]):
sys.stdout.write(words[idx])
sys.stdout.flush()
idx += 1