如何在一条消息中为kafka生成音频（.wav）

Question

为了使用大数据技术应用实时语音分析，我尝试在开始时使用 KAFKA。因此，首先我使用 WAVIO API 将 .wav 文件转换为字节，然后将包含 [data(nparray 的类型)、rate (integer) 和 sampwidth (integer)] 的消息发送到 kafka，这些消息将被将它们再次转换为 .wav 文件的消费者。

问题是如何在一条消息中向 kafka 发送和接收这些 [data, rate, sampwidth]（每条消息代表 .wav 文件）？

制片人：

    producer = KafkaProducer(bootstrap_servers='localhost:9092')
    x = wav2bytes("bush_read") # return tuple containing(data, rate, sampwidth)
    #here I'm sending 3 messages
    producer.send("TestTopic", key=b'data', value=b'%s' % (x[0])) # data -> nparray
    producer.send("TestTopic", key=b'rate', value=b'%d' % (x[1]))   # rate -> int
    producer.send("TestTopic", key=b'sampwidth', value=b'%d' % (x[2]))  #sampwidth -> int
    send("TestTopic","bush_read")

对于消费者：

    for message in consumer:
        msg = message     # I want somthing like this
        file = bytes2wav("name", msg.data, msg.rate, msg.sampwidth )

Answer 1

如果需要，您可以将其作为 json（或任何其他序列化）发送，创建一个 json like

{'data' : data, 'rate': rate, 'sampwidth': sampwidth}

你可以在消费者中反序列化它

Answer 2

只是另一个想法！！

如果 .wav 文件很大，它可能会给代理带来负载，从而降低集群速度。可以通过在完整的大文件旁边发布 参考消息 来避免。

将大文件存储在某些外部存储空间
将文件的元引用发布到指向存储文件位置的主题
消费者可以使用引用并将文件定位到外部存储中。

如何在一条消息中为kafka生成音频（.wav）

How to produce audio (.wav) to kafka in one message

python

apache-kafka

kafka-consumer-api

kafka-producer-api

制片人：

对于消费者：