在 AVPlayer 中获取 averagePowerForChannel

Question

如何在 AVPlayer 中获取 averagePowerForChannel 以便在我的音乐应用程序中制作音频可视化！我已经完成了可视化部分，但我卡在了它的引擎中（实时音量通道）。

我知道使用 AVAudioPlayer 可以使用 .meteringEnabled 属性轻松完成，但由于某些已知原因 AVPlayer 在我的应用程序中是必须的！我实际上正在考虑将 AVAudioPlayer 与 AVPlayer 一起使用以获得所需的结果，但这听起来有点混乱，这如何影响性能和稳定性？提前致谢

Answer 1

您需要将音频处理器 class 与 AV Foundation 结合使用，以可视化音频样本并将 Core Audio 音频单元效果（带通滤波器）应用于音频数据。你可以找到一个 sample by Apple here

基本上你需要像下面这样给你的 AVPlayer 添加一个观察者：

// Notifications
let playerItem: AVPlayerItem!  = videoPlayer.currentItem
playerItem.addObserver(self, forKeyPath: "tracks", options: NSKeyValueObservingOptions.New, context:  nil);

NSNotificationCenter.defaultCenter().addObserverForName(AVPlayerItemDidPlayToEndTimeNotification, object: videoPlayer.currentItem, queue: NSOperationQueue.mainQueue(), usingBlock: { (notif: NSNotification) -> Void in
   self.videoPlayer.seekToTime(kCMTimeZero)
   self.videoPlayer.play()
   print("replay")
})

然后在下面覆盖的方法中处理通知：

override func observeValueForKeyPath(keyPath: String?, ofObject object: AnyObject?, change: [String : AnyObject]?, context: UnsafeMutablePointer<Void>) {
    if (object === videoPlayer.currentItem && keyPath == "tracks"){
        if let playerItem: AVPlayerItem = videoPlayer.currentItem {
            if let tracks = playerItem.asset.tracks as? [AVAssetTrack] {
                tapProcessor = MYAudioTapProcessor(AVPlayerItem: playerItem)
                playerItem.audioMix = tapProcessor.audioMix
                tapProcessor.delegate = self
            }
        }
    }
}

这是 link 到 sample project on GitHub

Answer 2

我在 AVPlayer 可视化方面遇到了大约两年的问题。在我的例子中，它涉及 HLS 直播，在那种情况下，据我所知，你不会得到它运行ning。

EDIT 这不会让您访问 averagePowerForChannel: 方法，但您可以访问原始数据，例如 FFT 获得所需的信息。

不过，我可以使用本地播放。您基本上是在等待播放器播放器项目有一个跟踪和运行ning。届时，您需要将 MTAudioProcessingTap 修补到混音中。

处理分路器将运行您指定的回调，您可以在回调中根据需要计算原始音频数据。

这是一个简单的例子（很抱歉把它放在 ObjC 中）：

#import <AVFoundation/AVFoundation.h>
#import <MediaToolbox/MediaToolbox.h>

void init(MTAudioProcessingTapRef tap, void *clientInfo, void **tapStorageOut) {};
void finalize(MTAudioProcessingTapRef tap) {};
void prepare(MTAudioProcessingTapRef tap, CMItemCount maxFrames, const AudioStreamBasicDescription *processingFormat) {};
void unprepare(MTAudioProcessingTapRef tap) {};
void process(MTAudioProcessingTapRef tap, CMItemCount numberFrames, MTAudioProcessingTapFlags flags, AudioBufferList *bufferListInOut, CMItemCount *numberFramesOut, MTAudioProcessingTapFlags *flagsOut) {};

- (void)play {
    // player and item setup ...

    [[[self player] currentItem] addObserver:self forKeyPath:@"tracks" options:kNilOptions context:NULL];
}

//////////////////////////////////////////////////////

- (void)observeValueForKeyPath:(NSString *)keyPath ofObject:(id)object change:(NSDictionary *)changecontext:(void *)context
    if ([keyPath isEqualToString:@"tracks"] && [[object tracks] count] > 0) {
        for (AVPlayerItemTrack *itemTrack in [object tracks]) {
            AVAssetTrack *track = [itemTrack assetTrack];

            if ([[track mediaType] isEqualToString:AVMediaTypeAudio]) {
                [self addAudioProcessingTap:track];
                break;
            }
        }
}

- (void)addAudioProcessingTap:(AVAssetTrack *)track {
    MTAudioProcessingTapRef tap;
    MTAudioProcessingTapCallbacks callbacks;
    callbacks.version = kMTAudioProcessingTapCallbacksVersion_0;
    callbacks.clientInfo = (__bridge void *)(self);
    callbacks.init = init;
    callbacks.prepare = prepare;
    callbacks.process = process;
    callbacks.unprepare = unprepare;
    callbacks.finalize = finalise;

    OSStatus err = MTAudioProcessingTapCreate(kCFAllocatorDefault, &callbacks, kMTAudioProcessingTapCreationFlag_PostEffects, &tap);

    if (err) {
        NSLog(@"error: %@", [NSError errorWithDomain:NSOSStatusErrorDomain code:err userInfo:nil]);
        return;
    }

    AVMutableAudioMix *audioMix = [AVMutableAudioMix audioMix];

    AVMutableAudioMixInputParameters *inputParams = [AVMutableAudioMixInputParameters audioMixInputParametersWithTrack:audioTrack];
    [inputParams setAudioTapProcessor:tap];
    [audioMix setInputParameters:@[inputParams]];

    [[[self player] currentItem] setAudioMix:audioMix];
}

两年多前在 my question 上进行了一些讨论，因此请务必也查看一下。

在 AVPlayer 中获取 averagePowerForChannel

Getting averagePowerForChannel in AVPlayer

ios

avplayer