设备上 iOS14 的 VideoToolbox HEVC 解码失败
VideoToolbox HEVC decoding failing for iOS14 on device
所以虽然我确定我不会为任何人提供足够的信息来修复我的特定代码,但我很想知道的是:
有谁知道 iOS14 改变 HEVC 解码要求可能发生了什么??
我有一个使用 VideoToolbox 构建的解码器,用于通过网络传输的 HEVC 编码视频流,它在 iOS 13 台设备上运行良好, 和 iOS 14个模拟器。但是它在 iOS 设备上的 iOS 14(在撰写本文时最高为 14.4)中大部分时间都失败了。 “大部分时间”,因为有时它确实有效,具体取决于我在流中尝试开始解码的位置。
我偶尔从我的解压输出回调记录中得到的错误是 OSStatus -12909
– kVTVideoDecoderBadDataErr
。到目前为止,毫无帮助。
或者我可能没有得到错误输出,就像在一个单元测试中,它接收固定的数据包并且应该总是生成视频帧。 (在设备上使用 iOS14 时,此测试同样无法生成预期的帧。)
还有其他人对 iOS 14 中的 HEVC 解码有任何问题吗?我真的在这里寻找线索......我已经尝试切换 VTDecompressionSessionDecodeFrame()
(._EnableAsynchronousDecompression
, ._EnableTemporalProcessing
, ...)
的所有常用输入标志
我还尝试重做我的整个渲染层以将 AVSampleBufferDisplayLayer
与原始 CMSampleBuffers
一起使用。它完美解码!但是我不能使用它...因为我需要自己对输出帧的时间进行微观管理(而且它们并不总是按顺序排列)。
(如果有帮助,我放入单元测试的固定输入数据包按顺序包括以下类型的 NALU:NAL_UNIT_VPS
、NAL_UNIT_SPS
、NAL_UNIT_PPS
、NAL_UNIT_PREFIX_SEI
、NAL_UNIT_CODED_SLICE_CRA
,最后是 NAL_UNIT_CODED_SLICE_TRAIL_N
和 NAL_UNIT_CODED_SLICE_TRAIL_R
。我在过去的某个时候从工作网络流中将这些数据作为基本的完整性测试带到了服务器。)
所以今天早上我遇到了一个解决方案/解决方法。它仍然有点像“发生了什么事?”的原始问题。但就在这里,可能对某人有帮助:
kVTVideoDecoderBadDataErr
错误发生在所有 RASL_R
或 RASL_N
类型的 NALU 数据包上,这些数据包通常在第一个内容帧(CRA
输入 NALU。)
简单地跳过这些数据包(即不将它们传递给VTDecompressionSessionDecodeFrame()
)已经解决了我的问题,我的解码器现在在两个iOS中都可以正常工作13 和 14.
关于“随机访问支持”的部分 here 说“RASL 帧......通常被丢弃。”我想知道 iOS 13 和更早的 VideoToolbox 实现是否丢弃了这些帧,而较新的实现则没有,在这种情况下由开发人员决定?
所以虽然我确定我不会为任何人提供足够的信息来修复我的特定代码,但我很想知道的是:
有谁知道 iOS14 改变 HEVC 解码要求可能发生了什么??
我有一个使用 VideoToolbox 构建的解码器,用于通过网络传输的 HEVC 编码视频流,它在 iOS 13 台设备上运行良好, 和 iOS 14个模拟器。但是它在 iOS 设备上的 iOS 14(在撰写本文时最高为 14.4)中大部分时间都失败了。 “大部分时间”,因为有时它确实有效,具体取决于我在流中尝试开始解码的位置。
我偶尔从我的解压输出回调记录中得到的错误是 OSStatus -12909
– kVTVideoDecoderBadDataErr
。到目前为止,毫无帮助。
或者我可能没有得到错误输出,就像在一个单元测试中,它接收固定的数据包并且应该总是生成视频帧。 (在设备上使用 iOS14 时,此测试同样无法生成预期的帧。)
还有其他人对 iOS 14 中的 HEVC 解码有任何问题吗?我真的在这里寻找线索......我已经尝试切换 VTDecompressionSessionDecodeFrame()
(._EnableAsynchronousDecompression
, ._EnableTemporalProcessing
, ...)
我还尝试重做我的整个渲染层以将 AVSampleBufferDisplayLayer
与原始 CMSampleBuffers
一起使用。它完美解码!但是我不能使用它...因为我需要自己对输出帧的时间进行微观管理(而且它们并不总是按顺序排列)。
(如果有帮助,我放入单元测试的固定输入数据包按顺序包括以下类型的 NALU:NAL_UNIT_VPS
、NAL_UNIT_SPS
、NAL_UNIT_PPS
、NAL_UNIT_PREFIX_SEI
、NAL_UNIT_CODED_SLICE_CRA
,最后是 NAL_UNIT_CODED_SLICE_TRAIL_N
和 NAL_UNIT_CODED_SLICE_TRAIL_R
。我在过去的某个时候从工作网络流中将这些数据作为基本的完整性测试带到了服务器。)
所以今天早上我遇到了一个解决方案/解决方法。它仍然有点像“发生了什么事?”的原始问题。但就在这里,可能对某人有帮助:
kVTVideoDecoderBadDataErr
错误发生在所有 RASL_R
或 RASL_N
类型的 NALU 数据包上,这些数据包通常在第一个内容帧(CRA
输入 NALU。)
简单地跳过这些数据包(即不将它们传递给VTDecompressionSessionDecodeFrame()
)已经解决了我的问题,我的解码器现在在两个iOS中都可以正常工作13 和 14.
关于“随机访问支持”的部分 here 说“RASL 帧......通常被丢弃。”我想知道 iOS 13 和更早的 VideoToolbox 实现是否丢弃了这些帧,而较新的实现则没有,在这种情况下由开发人员决定?