获取 iPhone 个麦克风数据以通过 Socket 进行流式传输

Question

我想从 iPhone 麦克风获取原始音频数据（NSData 格式）以通过套接字流式传输。这不是我可以使用 twilio/etc 的情况，因为它是一个研究项目。套接字实现已完成（我可以发送音频文件），但我无法获取流式麦克风数据。

这是我的尝试：

class ViewController: UIViewController, AVCaptureAudioDataOutputSampleBufferDelegate
{

    override func viewDidLoad()
    {
        super.viewDidLoad()
        // Do any additional setup after loading the view, typically from a nib.

        self.setupMicrophone()
    }

    override func didReceiveMemoryWarning()
    {
        super.didReceiveMemoryWarning()
        // Dispose of any resources that can be recreated.
    }

    func setupMicrophone()
    {
        let session = AVCaptureSession()
        session.sessionPreset = AVCaptureSessionPresetMedium

        let mic = AVCaptureDevice.defaultDeviceWithMediaType(AVMediaTypeAudio)
        var mic_input: AVCaptureDeviceInput!

        let audio_output = AVCaptureAudioDataOutput()
        audio_output.setSampleBufferDelegate(self, queue: dispatch_get_main_queue())

        do
        {
            mic_input = try AVCaptureDeviceInput(device: mic)
        }
        catch
        {
            return
        }

        session.addInput(mic_input)
        session.addOutput(audio_output)

        session.startRunning()
    }

    func captureOutput(captureOutput: AVCaptureOutput!, didOutputSampleBuffer sampleBuffer: CMSampleBuffer!, fromConnection connection: AVCaptureConnection!)
    {
        // Do something here
    }
}

问题：

从未调用委托函数。
提供给委托的数据（如果被调用）不是 NSData，是否有另一个函数可以提供 NSData？有没有办法将 CMSampleBuffer 转换为 NSData？

感谢任何帮助。

干杯

Answer 1

您的 AVCaptureSession 超出范围并被释放。这就是为什么您的代表没有被调用的原因。您可以通过将 session 移动到 class 范围来解决此问题：

class ViewController: UIViewController, AVCaptureAudioDataOutputSampleBufferDelegate {

   let session = AVCaptureSession()

   override func viewDidLoad() {

有了音频 CMSampleBuffer 后，您可以像这样将音频数据复制到 NSData 对象中：

let block = CMSampleBufferGetDataBuffer(sampleBuffer)
var length = 0
var data: UnsafeMutablePointer<Int8> = nil
let status = CMBlockBufferGetDataPointer(block!, 0, nil, &length, &data)    // TODO: check for errors
let result = NSData(bytes: data, length: length)

p.s。如果你很小心并且想避免复制，你可以使用 NSData(bytesNoCopy: data, length: length, freeWhenDone: false)

获取 iPhone 个麦克风数据以通过 Socket 进行流式传输

Get iPhone mic data for streaming over Socket

sockets

voip

ios

swift