Tensorflow:如何检测音频方向

Tensorflow: how to detect audio direction

我有一个任务:确定声源位置

我有一些使用 tensorflow 的经验,可以对一些简单的特征和数据集进行预测。我假设对于这项任务,有必要分析声音频率和可能其他有关训练和预测步骤的相关数据。声音从耳机发出,因此人耳能够检测到方向。

1) 有人做过吗?(遗憾的是找不到任何类似的项目)
2) 在尝试实现该目标时我会遇到什么样的警告?
3) 我可以使用这种技术方法做到这一点吗?是否有任何其他声音处理框架/技术/开源项目可以帮助我?

我在这里问这个问题,因为我对 google、github 的研究,Whosebug 没有向我显示关于该特定主题的任何相关结果,所以非常感谢任何帮助!

这通常使用具有多个传感器的更传统的 DSP 来完成。您可能需要查看到达时间差 (TDOA) 和到达方向 (DOA)。 GCC-PHAT 和 MUSIC 等算法会有所帮助。

您可能遇到的问题是:DOA 精度是源的直接混响比的函数,即环境越混响,确定源位置的难度就越大。

您可能还需要考虑要解析的位置维度的数量。 3D 中的一个点 space 比相对于传感器的方向要难得多

使用 ML 作为解决此问题的方法并非完全没有优点,但您必须考虑要学习的是什么,即您可能不想学习测试室的混响特性,而是想学习传感器空间属性。