AudioKit DSP 的 CoreML
CoreML for AudioKit DSP
我一直在尝试确定是否可以集成 CoreML 模型以创建自定义 AudioKit 效果节点。我很好奇以前是否有人尝试过这个，他们是否有一些资源来确保我正确地解决这个问题。
目前，我已经创建了一个自定义 AudioKit 节点来加载我的模型并缓冲帧，直到有足够的帧可用于执行预测。一旦输入有足够的数据，它就会加载到 MLMultiarray 并传递给模型以执行预测......但我认为预测调用阻塞了音频线程，所以这绝对不是正确的方法......我觉得。
我不确定使用 GCD 是否合适，但我目前正在尝试对此进行测试...
希望有人可能有一些见解或资源可以帮助实现这一点，当然可以使用 DSP 的神经引擎 :) 到目前为止我所看到的一切都只是关于分类，而不是 DSP。
神经引擎的问题确实是你无法控制它阻塞音频线程的时间。我使用 CPU（不使用 Core ML）在音频线程中执行我的 ML。
我一直在尝试确定是否可以集成 CoreML 模型以创建自定义 AudioKit 效果节点。我很好奇以前是否有人尝试过这个，他们是否有一些资源来确保我正确地解决这个问题。
目前，我已经创建了一个自定义 AudioKit 节点来加载我的模型并缓冲帧，直到有足够的帧可用于执行预测。一旦输入有足够的数据，它就会加载到 MLMultiarray 并传递给模型以执行预测......但我认为预测调用阻塞了音频线程，所以这绝对不是正确的方法......我觉得。
我不确定使用 GCD 是否合适，但我目前正在尝试对此进行测试...
希望有人可能有一些见解或资源可以帮助实现这一点，当然可以使用 DSP 的神经引擎 :) 到目前为止我所看到的一切都只是关于分类，而不是 DSP。
神经引擎的问题确实是你无法控制它阻塞音频线程的时间。我使用 CPU（不使用 Core ML）在音频线程中执行我的 ML。