Python 带麦克风输入的 Librosa

Question

所以我试图让 librosa 与麦克风输入一起工作，而不仅仅是一个 wav 文件，并且遇到了运行一些问题。最初我使用 pyaudio 库连接到麦克风，但我无法翻译此数据以供 librosa 使用。关于如何解决这个问题的任何建议，或者甚至可能吗？

我尝试的一些事情包括从 pyaudio mic 接收数据，将其解码为浮点数组并将其传递给 librosa（从文档中，这是 librosa 对带有 .load 的 wav 文件所做的），但它不起作用，因为它会产生以下错误： "librosa.util.exceptions.ParameterError: Audio buffer is not finite everywhere"


FORMAT = pyaudio.paInt16
RATE = 44100
CHUNK = 2048
WIDTH = 2
CHANNELS = 2
RECORD_SECONDS = 5

stream = audio.open(format=FORMAT,
                    channels = CHANNELS,
                    rate = RATE,
                    input=True,
                    output=True,
                    frames_per_buffer=CHUNK)
while True:
        data = stream.read(CHUNK)
        data_float = np.fromstring(data , dtype=np.float16)
        data_np = np.array(data_float , dtype='d')
        # data in 1D array
        mfcc = librosa.feature.mfcc(data_np.flatten() , 44100)
        print(mfcc)

Answer 1

您可以使用 pyaudio 中的 callback 函数来完成。我认为使用 class.

更容易

在构造函数 __init__ 中，您定义了所有需要的常量，并将 FORMAT 设置为 pyaudio.paFloat32，这将使您稍后可以将其与 librosa.[=24= 一起使用]

然后在 start 方法中我打开音频流。 .open() 中的 stream_callback 参数可让您指定实现功能的方式。

callback 方法将 in_data, frame_count, time_info, flag 作为参数，然后您会收到二进制文件中的 in_data。所以你需要使用 np.frombuffer(in_data, dtype=np.float32) 将它们转换成一个 numpy 数组。

一旦完成，您就可以像往常一样使用您的 numpy.ndarray 和 librosa

我认为这可以优化，但这个解决方案对我来说效果很好，希望它能有所帮助:)

import numpy as np
import pyaudio
import time
import librosa

class AudioHandler(object):
    def __init__(self):
        self.FORMAT = pyaudio.paFloat32
        self.CHANNELS = 1
        self.RATE = 44100
        self.CHUNK = 1024 * 2
        self.p = None
        self.stream = None

    def start(self):
        self.p = pyaudio.PyAudio()
        self.stream = self.p.open(format=self.FORMAT,
                                  channels=self.CHANNELS,
                                  rate=self.RATE,
                                  input=True,
                                  output=False,
                                  stream_callback=self.callback,
                                  frames_per_buffer=self.CHUNK)

    def stop(self):
        self.stream.close()
        self.p.terminate()

    def callback(self, in_data, frame_count, time_info, flag):
        numpy_array = np.frombuffer(in_data, dtype=np.float32)
        librosa.feature.mfcc(numpy_array)
        return None, pyaudio.paContinue

    def mainloop(self):
        while (self.stream.is_active()): # if using button you can set self.stream to 0 (self.stream = 0), otherwise you can use a stop condition
            time.sleep(2.0)


audio = AudioHandler()
audio.start()     # open the the stream
audio.mainloop()  # main operations with librosa
audio.stop()

Python 带麦克风输入的 Librosa

Python Librosa with Microphone input

python

audio

microphone

pyaudio

librosa