将 getUserMedia 流式传输到服务器

Question

我是二进制数据和 getUserMedia 的新手，将 getUserMedia (video/audio) 流式传输到服务器然后为其他连接准备流 (video/audio) 的推荐方法是什么？

我最初的想法是通过 websockets 发送数据，然后将数据写入文件 (mp4)，如下所示：

getUserMedia -->(websockets)--> server -->(file.mp4)--> video.src.

我一直在查看 MediaStreamRecorder，我可以像这样发送缓冲区：

multiStreamRecorder.ondataavailable = function (blobs) {
    socket.emit('blobs', blobs)
};

在我得到的服务器上

{ audio: <Buffer 52 49 46 46 2c 10 04 00 57 41 56 45 66 6d 74 20 10 00 00 00 01 00 01 00 44 ac 00 00 10 b1 02 00 02 00 10 00 64 61 74 61 00 10 04 00 f8 ff 04 00 0d 00 ... >,
  video: <Buffer 1a 45 df a3 40 20 42 86 81 01 42 f7 81 01 42 f2 81 04 42 f3 81 08 42 82 40 04 77 65 62 6d 42 87 81 02 42 85 81 02 18 53 80 67 10 0a 41 54 15 49 a9 66 ... >,
  onDataAvailableEventFired: true }

现在我想我应该将其写入文件，提供该文件，然后从 video 元素的源请求该文件。如果一切正确，我将如何将文件写入文件系统？还是我做错了什么？

我知道 WebRTC 具有 p2p 功能，我会向大约 50 个或更多客户端提供视频流，所以这不是一个选项。

更新websocket方案：

我现在像这样通过 websockets 发回数据：

socket.on('blobs', function(data){
    socket.emit('blobs', data)
})

并在客户端将其推入 mediaSource，然后推入带有 timestampOffset 的 video 元素以保持平滑。

var mediaSource = new MediaSource(),
    mediaBuffer,
    // init duration of 0 seems fine
    duration = 0;

var video = $('video').get(0);
video.src = window.URL.createObjectURL(mediaSource);

mediaSource.addEventListener('sourceopen', function(e) {
    mediaBuffer = mediaSource.addSourceBuffer('video/webm; codecs="vp8"')
    mediaBuffer.addEventListener('update', function() {
        // wait for mediaBuffer update to fire before setting the new duration
        duration = video.duration
    });
}, false);

socket.on('blobs', function (data) {
    mediaBuffer.timestampOffset = duration;
    mediaBuffer.appendBuffer(new Uint8Array(data.video));
});

Answer 1

要使其正常工作，您还需要服务器 "speak" WebRTC。使用 websockets 不会给你想要的结果，也不会像 WebRTC 那样响应——它不是实时的。

要在服务器上获取 WebRTC 运行，您可以使用位于 webrtc.org or OpenWebRTC as a starting point, use GStreamer or go for something a bit more complete. Good projects of media server frameworks for WebRTC to start from are Kurento, Jitsi and Janus 的 WebRTC 堆栈。

鉴于您问题的性质，我的建议是从上面提到的更完整的媒体服务器框架之一开始。

将 getUserMedia 流式传输到服务器

streaming getUserMedia to server

node.js

websocket

video-streaming

webrtc

getusermedia