iOS 音频单元 - 连接图形？

Question

我已经跳出深渊，并决定使用音频单元在 iOS 上找出低延迟音频。我已经阅读了尽可能多的文档（来自 Apple 和大量论坛），总体概念是有道理的，但我仍在摸索一些我需要帮助的概念：

我在某处看到 AU 图已被弃用，我应该直接连接音频单元。我对此很满意......但是如何？我是否只需要使用音频单元的连接属性将其连接到源 AU，然后就可以了？初始化并启动单元，然后观看奇迹发生？（因为它不适合我...）
如果我只是想从我的麦克风中获取音频，对音频数据进行一些处理，然后存储该音频数据而不发送，那么最好的音频单元设置是什么它输出到 RemoteIO 扬声器，总线 0 输出？我尝试连接一个 GenericOutput AudioUnit 来捕获回调中的数据，但没有任何运气......

就是这样。我可以在需要时提供代码，但为时已晚，这让我筋疲力尽。如果知道简单的答案，那很好。我会随意发送任何代码片段。可以这么说，我可以轻松获得一个简单的 RemoteIO、麦克风输入、扬声器输出设置，效果很好。延迟似乎不存在（至少在我看来）。我只想对麦克风数据做点什么，然后将其存储在内存中，而不会将其发送到扬声器。最终连接 eq 和混音器会很时髦，但一次一个步骤。

FWIW，我在 Xamarin Forms/C# land 中编码，但是 Objective C、Swift 或其他任何格式的代码示例都可以。我坚持概念，不一定是确切的代码。

谢谢！

Answer 1

您的问题提到了音频单元和图表。正如评论中所说，图形概念已被将“节点”附加到 AVAudioEngine 的想法所取代。然后这些节点“连接”到其他节点。连接节点创建信号路径并启动引擎使这一切发生。这可能是显而易见的，但我试图在这里做出一般性回应。您可以在 Swift 或 Objective-C.

中完成所有操作

iOS 音频需要考虑的两个高级观点是“主机”和“插件”的概念。主机是一个应用程序，它托管插件。该插件通常创建为“应用程序扩展”，您可以根据需要查找音频单元扩展以了解更多信息。你说你有一个做你想做的，所以这就是解释主机中使用的代码

将 AudioUnit 附加到 AVaudioEngine

var components = [AVAudioUnitComponent]()

let description =
    AudioComponentDescription(
        componentType: 0,
        componentSubType: 0,
        componentManufacturer: 0,
        componentFlags: 0,
        componentFlagsMask: 0
    )

components = AVAudioUnitComponentManager.shared().components(matching: description)
.compactMap({ au -> AVAudioUnitComponent? in
    if AudioUnitTypes.codeInTypes(
        au.audioComponentDescription.componentType,
        AudioUnitTypes.instrumentAudioUnitTypes,
        AudioUnitTypes.fxAudioUnitTypes,
        AudioUnitTypes.midiAudioUnitTypes
        ) && !AudioUnitTypes.isApplePlugin(au.manufacturerName) {
        return au
    }
    return nil
})

guard let component = components.first else { fatalError("bugs") }

let description = component.audioComponentDescription

AVAudioUnit.instantiate(with: description) { (audioUnit: AVAudioUnit?, error: Error?) in
        
    if let e = error {
        return print("\(e)")
    }
    // save and connect
    guard let audioUnit = audioUnit else {
        print("Audio Unit was Nil")
        return
    }
    let hardwareFormat = self.engine.outputNode.outputFormat(forBus: 0)      
        
    self.engine.attach(au)
    self.engine.connect(au, to: self.engine.mainMixerNode, format: hardwareFormat)
}

加载 AudioUnit 后，您可以连接下面的 Athe AVAudioNodeTapBlock，它有更多功能，因为它需要是二进制文件或其他不属于您的主机应用程序可以加载的东西。

录制一个 AVAudioInputNode

（可以用输入节点替换音频单元。）

在应用程序中，您可以通过创建 AVAudioInputNode 或仅引用 AVAudioEngine 的 'inputNode' 属性来录制音频，它将连接到系统选择的输入设备（麦克风，线等）默认

有了要处理其音频的输入节点后，接下来在该节点上“安装水龙头”。您还可以将输入节点连接到混音器节点并在那里安装分接头。

https://developer.apple.com/documentation/avfoundation/avaudionode/1387122-installtap

func installTap(onBus bus: AVAudioNodeBus, 
                bufferSize: AVAudioFrameCount, 
                format: AVAudioFormat?, 
                block tapBlock: @escaping AVAudioNodeTapBlock)

安装的分路器基本上会将您的音频流分成两个信号路径。它会继续将音频发送到 AvaudioEngine 的输出设备，并将音频发送到您定义的函数。此函数（AVAudioNodeTapBlock）从 AVAudioNode 传递给 'installTap'。 AVFoundation 子系统调用 AVAudioNodeTapBlock 并一次向您传递一个缓冲区的输入数据以及数据到达的时间。

https://developer.apple.com/documentation/avfoundation/avaudionodetapblock

typealias AVAudioNodeTapBlock = (AVAudioPCMBuffer, AVAudioTime) -> Void

现在系统正在将音频数据发送到可编程上下文，您可以用它做任何您想做的事。要在其他地方使用它，您可以创建一个单独的 AVAudioPCMBuffer 并将每个传入的缓冲区写入 AVAudioNodeTapBlock 中。

Answer 2

在没有图形的情况下使用音频单元非常简单且非常灵活。要连接两个单元，您可以这样调用 AudioUnitSetProperty :

AudioUnitConnection connection;
connection.sourceAudioUnit = sourceUnit;
connection.sourceOutputNumber = sourceOutputIndex;
connection.destInputNumber = destinationInputIndex;
 
AudioUnitSetProperty(
    destinationUnit,
    kAudioUnitProperty_MakeConnection,
    kAudioUnitScope_Input,
    destinationInputIndex,
    &connection,
    sizeof(connection)
);

请注意，以这种方式连接的设备需要统一设置其流格式，并且必须在它们初始化之前完成。

iOS 音频单元 - 连接图形？

iOS Audio Units - Connecting with Graphs?

ios

audio

core-audio

audiounit

augraph

将 AudioUnit 附加到 AVaudioEngine

录制一个 AVAudioInputNode