如何使用媒体源扩展 (MSE) 低延迟模式
How to use Media Source Extension (MSE) low-latency mode
我了解到 MSE 有这种 low-latency 模式，可以为解码提供零缓冲。不管这可能带来不稳定的性能，理论上它应该在实时流媒体中使用时提供更低的延迟。有人知道 "tricks" 触发此 low-latency 模式吗？
参考：https://blog.parsecgaming.com/game-streaming-tech-in-the-browser-with-parsec-5b70d0f359bc
这不是一个完整的答案，因为我只是自己学习。 Chromium 似乎正在使用来自 MP4 流的提示来确定是否应使用低延迟模式。
bool ShouldUseLowDelayMode(DemuxerStream* stream) {
return base::FeatureList::IsEnabled(kLowDelayVideoRenderingOnLiveStream) &&
stream->liveness() == DemuxerStream::LIVENESS_LIVE;
}
// In ISO/IEC 14496-12:2005(E), 8.30.2: ".. If an MP4 file is created in
// real-time, such as used in live streaming, it is not likely that the
// fragment_duration is known in advance and this (mehd) box may be
// omitted."
// We have an unknown duration (neither any mvex fragment_duration nor moov
// duration value indicated a known duration, above.)
// TODO(wolenetz): Investigate gating liveness detection on timeline_offset
// when it's populated. See http://crbug.com/312699
params.liveness = DemuxerStream::LIVENESS_LIVE;
因此，如果您可以生成没有持续时间的流，它将被假定为直播并使用低延迟模式。
还有一些关于在未来公开一种无需流修改即可触发低延迟模式的机制的讨论：https://github.com/w3c/media-source/issues/21
https://github.com/whatwg/html/issues/4638 是当前正在孵化的项目。它不是 MSE-specific。现在，随着孵化的进行，HTMLMediaElement.latencyHint 属性正在 Chromium 中进行测试。这个想法是它会覆盖实现的“live/low-delay”检测启发式的任何结果，从而为应用程序提供更多控制权。
我了解到 MSE 有这种 low-latency 模式，可以为解码提供零缓冲。不管这可能带来不稳定的性能，理论上它应该在实时流媒体中使用时提供更低的延迟。有人知道 "tricks" 触发此 low-latency 模式吗？
参考：https://blog.parsecgaming.com/game-streaming-tech-in-the-browser-with-parsec-5b70d0f359bc
这不是一个完整的答案，因为我只是自己学习。 Chromium 似乎正在使用来自 MP4 流的提示来确定是否应使用低延迟模式。
bool ShouldUseLowDelayMode(DemuxerStream* stream) {
return base::FeatureList::IsEnabled(kLowDelayVideoRenderingOnLiveStream) &&
stream->liveness() == DemuxerStream::LIVENESS_LIVE;
}
// In ISO/IEC 14496-12:2005(E), 8.30.2: ".. If an MP4 file is created in
// real-time, such as used in live streaming, it is not likely that the
// fragment_duration is known in advance and this (mehd) box may be
// omitted."
// We have an unknown duration (neither any mvex fragment_duration nor moov
// duration value indicated a known duration, above.)
// TODO(wolenetz): Investigate gating liveness detection on timeline_offset
// when it's populated. See http://crbug.com/312699
params.liveness = DemuxerStream::LIVENESS_LIVE;
因此，如果您可以生成没有持续时间的流，它将被假定为直播并使用低延迟模式。
还有一些关于在未来公开一种无需流修改即可触发低延迟模式的机制的讨论：https://github.com/w3c/media-source/issues/21
https://github.com/whatwg/html/issues/4638 是当前正在孵化的项目。它不是 MSE-specific。现在，随着孵化的进行，HTMLMediaElement.latencyHint 属性正在 Chromium 中进行测试。这个想法是它会覆盖实现的“live/low-delay”检测启发式的任何结果，从而为应用程序提供更多控制权。