如何从 iOS 设备（而不是它自己的摄像头）流式传输 (RTMP) 视频

Question

我想从我的 iOS 设备发送外部视频。此视频是从直播流接收的：RTSP 服务器 或 HLS url（不是来自 iPhone 摄像头）。

目前我可以使用 VideoCore（内部使用 CameraSource 和 MicSource）从 iPhone 流式传输我的相机视频，但是现在，我要播放的视频来自 URL。类似于 Periscope streaming video from GoPro Cam.

问题1：我不知道如何从RTSP中提取URL音频和视频

问题 2：我不知道如何从这个提取的视频和音频中创建 CameraSource o MicSource。

你知道在哪里可以找到示例吗？或者你能帮我解决这个技术难题吗？

Answer 1

我找到了第一个问题的第一种方法：

  AVPlayerItem *item = [AVPlayerItem playerItemWithURL:URL];
    AVAsset *asset = [item asset];

    [asset loadValuesAsynchronouslyForKeys:@[@"tracks"] completionHandler:^{
        if ([asset statusOfValueForKey:@"tracks" error:nil] == AVKeyValueStatusLoaded) {
            NSArray *videoTracks = [asset tracksWithMediaType:AVMediaTypeVideo];
            NSArray *audioTracks = [asset tracksWithMediaType:AVMediaTypeAudio];

            //VIDEO
            //videoOutput is a AVPlayerItemVideoOutput * property
            [item addOutput:self.videoOutput];

            //AUDIO
            AVMutableAudioMixInputParameters *inputParams = [AVMutableAudioMixInputParameters audioMixInputParametersWithTrack:[audioTracks objectAtIndex:0]];
            MTAudioProcessingTapCallbacks callbacks;            
            callbacks.version = kMTAudioProcessingTapCallbacksVersion_0;
            callbacks.clientInfo = (__bridge void *)self,
            callbacks.init = tap_InitCallback;
            callbacks.finalize = tap_FinalizeCallback;
            callbacks.prepare = tap_PrepareCallback;
            callbacks.unprepare = tap_UnprepareCallback;
            callbacks.process = tap_ProcessCallback;            
            MTAudioProcessingTapRef tap;
            OSStatus err = MTAudioProcessingTapCreate(kCFAllocatorDefault, &callbacks,
                                                      kMTAudioProcessingTapCreationFlag_PostEffects, &tap);           
            inputParams.audioTapProcessor = tap;
            AVMutableAudioMix *audioMix = [AVMutableAudioMix audioMix];
            audioMix.inputParameters = @[inputParams];
            item.audioMix = audioMix;    
    }];

然后使用 CADisplayLink 创建一个回调，它将回调 displayPixelBuffer: 在每个 vsync。

 self.displayLink = [CADisplayLink displayLinkWithTarget:self selector:@selector(displayLinkCallback:)];
    [[self displayLink] addToRunLoop:[NSRunLoop currentRunLoop] forMode:NSDefaultRunLoopMode];
    [[self displayLink] setPaused:YES];

并在此方法中获取 pixelBuffer 并发送到输出对于音频，使用 AURenderCallbackStruct.

在准备回调中执行类似的任务

如何从 iOS 设备（而不是它自己的摄像头）流式传输 (RTMP) 视频

How to stream (RTMP) video from iOS Device (not from its own camera)

streaming

rtmp

ios

videocore