两个播放器之间的声音和画面不同步

Question

我正在构建一个能够用视频唱歌的卡拉 OK 应用程序，所以这是我的问题：我正在录制用户视频（仅来自前置摄像头的视频），同时在单独的音频记录上应用带有 audiokit 的语音过滤器。现在在我的播放中，我想同步播放视频和音频 mode 但它没有成功，因为视频和音频不同步。我将 akplayer 用于音频，因此我可以应用语音 mod 和 vlckit 来播放用户视频。

         do {

        //MARK: VLC kit part of the video setup
        Vlc_VideoPlayer = VLCMediaPlayer()

        Vlc_VideoPlayer.media = VLCMedia(url: recordVideoURL)
        Vlc_VideoPlayer.addObserver(self, forKeyPath: "time", options: [], context: nil)
        Vlc_VideoPlayer.addObserver(self, forKeyPath: "remainingTime", options: [], context: nil)

        Vlc_VideoPlayer.drawable = self.CameraView

        //MARK: Audiokit with AKPlayer Setup

        file = try AKAudioFile(forReading: recordVoiceURL)
        player =  AKPlayer(audioFile: file)
        self.player.preroll()
        delay = AKVariableDelay(player)
        delay.rampTime = 0.5
        delayMixer = AKDryWetMixer(player, delay)

        reverb = AKCostelloReverb(delayMixer)
        reverbMixer = AKDryWetMixer(delayMixer, reverb)
        booster = AKBooster(reverbMixer)
        tracker = AKAmplitudeTracker(booster)
        AudioKit.output = tracker
        try AudioKit.start()
        }catch{
        print (error)
              }
        self.startPlayers()

现在是 startPlayers 函数：

func startPlayers(){
    DispatchQueue.main.asyncAfter(deadline: .now() + 1) {
        if AudioKit.engine.isRunning {


                self.Vlc_VideoPlayer.audio.isMuted = true
                self.Vlc_VideoPlayer.play()



            self.player.isLooping = false
            self.player.play()




        }else{
            self.startPlayers()
        }
    }

    }

Answer 1

尝试启动两个播放器将无法正常显示，除非您有办法在启动后同步播放，否则它不会完美。理想情况下，您还应该使用 VLC 播放音频以利用其内部同步工具。

为了迭代您现在拥有的内容，我建议您开始使用 VLC 播放直到它解码第一帧，暂停，开始您的音频并在您解码第一个音频样本后立即使用 VLC 继续播放。这仍然不是完美的，但可能会更好。

Answer 2

我对 VLC 播放器一无所知，但是内置的 AVPlayer 有一个同步到时钟的选项：

var time: TimeInterval = 1 // 1 second in the future

videoPlayer.masterClock = CMClockGetHostTimeClock()

let hostTime = mach_absolute_time()

let cmHostTime = CMClockMakeHostTimeFromSystemUnits(hostTime)
let cmVTime = CMTimeMakeWithSeconds(time, preferredTimescale: videoPlayer.currentTime().timescale)
let futureTime = CMTimeAdd(cmHostTime, cmVTime)
videoPlayer.setRate(1, time: CMTime.invalid, atHostTime: futureTime)

AKPlayer 然后支持使用其调度功能同步到 mach_absolute_time() hostTime。如上所述，两者开始时会靠得很近，但不能保证任何同步。

两个播放器之间的声音和画面不同步

Out sync sound and picture between two players

libvlc

ios

swift

audiokit