如何在 "sample accurate" 次安排 MIDI 事件？

Question

我正在尝试在 iOS 上构建音序器应用程序。 Apple Developer 网站上有一个示例可以让音频单元播放重复音阶，此处：

https://developer.apple.com/documentation/audiotoolbox/incorporating_audio_effects_and_instruments

在示例代码中，有一个文件 "SimplePlayEngine.swift"，其中 class "InstrumentPlayer" 处理将 MIDI 事件发送到选定的音频单元。它生成一个线程，该线程带有一个遍历比例尺的循环。它通过调用音频单元的 AUScheduleMIDIEventBlock 发送一个 MIDI Note On 消息，使线程休眠一小段时间，发送一个 Note Off，然后重复。

这是一个删节版：

DispatchQueue.global(qos: .default).async {
    ...
    while self.isPlaying {
        // cbytes is set to MIDI Note On message
        ...
        self.audioUnit.scheduleMIDIEventBlock!(AUEventSampleTimeImmediate, 0, 3, cbytes)
        usleep(useconds_t(0.2 * 1e6))
        ...
        // cbytes is now MIDI Note Off message
        self.noteBlock(AUEventSampleTimeImmediate, 0, 3, cbytes)
        ...
    }
    ...
}

这对于演示来说效果很好，但它没有强制执行严格的计时，因为只要线程唤醒就会安排事件。

我如何修改它以在特定速度下以采样准确的时间播放音阶？

我的假设是我需要一种方法让合成器音频单元在每次渲染之前在我的代码中调用回调，其中包含即将渲染的帧数。然后我可以每隔 "x" 帧安排一个 MIDI 事件。您可以向 scheduleMIDIEventBlock 的第一个参数添加一个偏移量，最大为缓冲区的大小，因此我可以使用它在给定的渲染周期中恰好在正确的帧安排事件。

我尝试使用 audioUnit.token(byAddingRenderObserver: AURenderObserver)，但我给它的回调从未被调用，即使应用程序正在发出声音。该方法听起来像是 AudioUnitAddRenderNotify 的 Swift 版本，从我在这里读到的内容来看，这听起来像是我需要做的 - 。怎么不叫呢？甚至可以使用 Swift 来实现 "sample accurate"，还是我需要为此使用 C？

我走在正确的轨道上吗？感谢您的帮助！

Answer 1

样本准确计时通常需要使用RemoteIO Audio Unit，并使用C代码在每个音频回调块中的所需样本位置手动插入样本。

（几年前关于核心音频的 WWDC session 建议不要在音频 real-time 上下文中使用 Swift。不确定是否有任何内容改变了该建议。）

或者，对于 MIDI，在每个连续的 scheduleMIDIEventBlock 调用中使用精确递增的时间值，而不是 AUEventSampleTimeImmediate，并稍微提前设置这些调用。

Answer 2

你走在正确的轨道上。可以在渲染回调中以采样精度安排 MIDI 事件：

let sampler = AVAudioUnitSampler()

...

let renderCallback: AURenderCallback = {
    (inRefCon: UnsafeMutableRawPointer,
    ioActionFlags: UnsafeMutablePointer<AudioUnitRenderActionFlags>,
    inTimeStamp: UnsafePointer<AudioTimeStamp>,
    inBusNumber: UInt32,
    inNumberFrames: UInt32,
    ioData: UnsafeMutablePointer<AudioBufferList>?) -> OSStatus in

    if ioActionFlags.pointee == AudioUnitRenderActionFlags.unitRenderAction_PreRender {
        let sampler = Unmanaged<AVAudioUnitSampler>.fromOpaque(inRefCon).takeUnretainedValue()

        let bpm = 960.0
        let samples = UInt64(44000 * 60.0 / bpm)
        let sampleTime = UInt64(inTimeStamp.pointee.mSampleTime)
        let cbytes = UnsafeMutablePointer<UInt8>.allocate(capacity: 3)
        cbytes[0] = 0x90
        cbytes[1] = 64
        cbytes[2] = 127
        for i:UInt64 in 0..<UInt64(inNumberFrames) {
            if (((sampleTime + i) % (samples)) == 0) {
                sampler.auAudioUnit.scheduleMIDIEventBlock!(Int64(i), 0, 3, cbytes)
            }
        }
    }

    return noErr
}

AudioUnitAddRenderNotify(sampler.audioUnit,
                         renderCallback,
                         Unmanaged.passUnretained(sampler).toOpaque()
)

使用了AURenderCallback和scheduleMIDIEventBlock。您可以分别交换 AURenderObserver 和 MusicDeviceMIDIEvent，得到类似的样本精确结果：

let audioUnit = sampler.audioUnit

let renderObserver: AURenderObserver = {
    (actionFlags: AudioUnitRenderActionFlags,
    timestamp: UnsafePointer<AudioTimeStamp>,
    frameCount: AUAudioFrameCount,
    outputBusNumber: Int) -> Void in

    if (actionFlags.contains(.unitRenderAction_PreRender)) {
        let bpm = 240.0
        let samples = UInt64(44000 * 60.0 / bpm)
        let sampleTime = UInt64(timestamp.pointee.mSampleTime)

        for i:UInt64 in 0..<UInt64(frameCount) {
            if (((sampleTime + i) % (samples)) == 0) {
                MusicDeviceMIDIEvent(audioUnit, 144, 64, 127, UInt32(i))
            }
        }
    }
}

let _ = sampler.auAudioUnit.token(byAddingRenderObserver: renderObserver)

请注意，这些只是示例，说明如何即时进行采样精确的 MIDI 排序。您仍应遵循 rules of rendering 以可靠地实施这些模式。

如何在 "sample accurate" 次安排 MIDI 事件？

How to schedule MIDI events at "sample accurate" times?

ios

avfoundation

audiounit

audiotoolbox

auv3