通过 Flutter 从 C++ 插件访问资产

Question

我正在尝试将 Google 双簧管用于 3D 音频处理应用程序，因为它的延迟很低。该应用程序将有一个 C++ 后端来进行处理，而前端则使用 Flutter 完成。我正在运行进行一些测试以查看它是否有效，但我在将资产从 Flutter 加载到 Oboe 时遇到问题。我检查了 Oboe 的 repo 中的 RhythmGame 示例，用 Java 完成，但无法安静地找到直接从 Dart 到 C++ 的方法。前后端连接是通过dart::ffi

以下是我目前尝试过的方法。基于 Richard Heap here 发布的示例，我将 noise 变量从正弦波更改为 wav 文件中歌曲的一小段：

class _MyAppState extends State<MyApp> {
  final stream = OboeStream();

  var noise = Float32List(512);
  Timer t;

  @override
  void initState() {
    super.initState();
    // for (var i = 0; i < noise.length; i++) {
    //   noise[i] = sin(8 * pi * i / noise.length);
    // }

    _loadSound();
  }

  void _loadSound() async {
    final ByteData data = await rootBundle.load('assets/song_cut.wav');
    noise = data.buffer.asFloat32List();
  }

(...)

然后Dart中的这个函数调用原生库的Dart包装器：

void start() {
    stream.start();
    var interval = (512000 / stream.getSampleRate()).floor() + 1;
    t = Timer.periodic(Duration(milliseconds: interval), (_) {
      stream.write(noise);
     });
  }

Dart 中的包装器是：

void write(Float32List original) {
    var length = original.length;
    var copy = allocate<Float>(count: length)
        ..asTypedList(length).setAll(0, original);

    FfiGoogleOboe()._streamWrite(_nativeInstance, copy, length);
    free(copy);
  }

_streamWrite是C++中的原生函数：

EXTERNC void stream_write(void* ptr, void* data, int32_t size) {
    auto stream = static_cast<OboeFfiStream*>(ptr);
    auto dataToWrite = static_cast<float*>(data);
    stream->write(dataToWrite, size);
}

void OboeFfiStream::write(float *data, int32_t size) {
    managedStream->write(data, size, 1000000);
}

现在我可以听到这首歌了，但它的失真太大了。当尝试使用正弦时，我也能听到，但它也有一些失真。我还没有在 Oboe 中使用回调模式，因为我想先试试这个是否有效。

Answer 1

1 - 您的 WAV 文件是什么格式？它是 32 位浮点数吗？不要忘记 WAV 文件有一个 header，因此您应该丢弃前几十个字节（直到 data 段）。请确保您开始读取浮动边界上的音频数据（如果 header 不是，则可能不是 4 的倍数）。如有必要，只需使用十六进制编辑器确定浮点数据的偏移量并从那里开始读取。或者，截断 header 并将您的资产重命名为 song_cut.raw。 Audacity 应该能够生成 header-less 原始音频文件。

2 - 您录制音频剪辑的采样率是多少？这与设备的采样率匹配吗？（请注意，iOS 设备通常为 44.1k，但 Android 设备通常为 48k。在 macOS 上使用 Android 模拟器时，谁知道报告的采样率是多少！预计音高失真如果您的费率不匹配 - 或者使用重采样器。我认为双簧管有一个。或者，与演讲相关的示例存储库包含一个您可以使用的重采样器。）

3 - 请注意，定时器间隔已微调（出于演示目的）以大约以声卡速率提供 512 个样本所需的时间。这对于演示可能没问题，但不适用于现实生活。此外，您的 wav 文件中可能没有正好 512 个样本。将音频循环调整为 512 个样本，或调整 512000 常量以匹配循环中的样本数。

4a - 您还没有使用回调方法，但您可能应该尽快使用。我成功使用的一种方法是使用 lock-free 循环缓冲区。 Oboe 回调尝试清空缓冲区，而 Dart 计时器例程尝试填充它。缓冲区越大，下溢的可能性越小，但延迟也越差。

4b - 理想的解决方案是将 Oboe 回调调用到 Dart 中，但我还没有找到这样做的方法，因为 C->Dart 调用必须在 Dart 主线程上，但是 Oboe回调肯定在 high-priority IO 线程上。

通过 Flutter 从 C++ 插件访问资产

Accessing assets from C++ plugin through Flutter

c++

flutter

dart

oboe

dart-ffi