将 perframe 元数据从 webrtc 客户端传输到浏览器

Question

我知道很久以前这个问题已经被问过很多次了，但一直没有人回答。 我有 webrtc 客户端，它通过服务器（flashphoner）将流传输到浏览器。我需要在客户端通过 4 字节标签标记特定帧并使用 js 代码在浏览器中解析此标签的方法。 其他理论上的能力是添加 textual/qrcode 水印并使用一些 ocr 或 qrparser 库在浏览器端解析它。我不知道如何在浏览器端访问解码的帧数据的问题。有什么建议吗？

Answer 1

虽然这样的事情在过去是不可能的，但 WebRTC 可插入流/编码转换 (specification) API 允许这样做，但浏览器支持各不相同。

https://webrtc.github.io/samples/src/content/insertable-streams/endtoend-encryption/ 显示了一个简单的 XOR 加密示例，并且对您的用例更重要的是，它添加了一个四字节校验和。