electron.desktopCapturer 到 cv.VideoCapture [电子、nodejs、opencv4nodejs]

Question

我花了几个小时浏览互联网并搜索一些解决方案如何捕获桌面（或 window）并将其发送到 OpenCv VideoCapture 以便我可以做一些计算机视觉魔法就可以了。

经过研究，我能想到的唯一解决方案是使用 desktopCapturer 启动流并将流传递给 opencv 库。

我有这个代码：

const { desktopCapturer } = require('electron');
var cv = require('electron').remote.require('opencv4nodejs');

...some setup...

navigator.mediaDevices.getUserMedia({
  audio: false,
  video: {
    mandatory: {
      chromeMediaSource: 'desktop',
      chromeMediaSourceId: source.id,
      minWidth: 640,
      maxWidth: 640,
      minHeight: 320,
      maxHeight: 320,
    },
  },
})
.then((stream) => {
  console.log('stream ', stream);
  const videoUrl = URL.createObjectURL(stream);
  console.log('videoUrl', videoUrl);
  const capturedVideo = new cv.VideoCapture(videoUrl);
  console.log('captured video', capturedVideo);
})
.catch((error) => console.error(error));

但是我得到以下错误：

Answer 1

下面的一段代码实际处理了浏览器桌面捕获器和 nodejs 之间的转换，用于 opencv 和其他库：

}).then((stream) => {
  const video = document.createElement('video');
  video.srcObject = stream;
  video.onloadedmetadata = () => {
  video.play();
  setInterval(() => {
    const canvas = document.createElement('canvas');
    canvas.getContext('2d').drawImage(video, 0, 0, 800, 800);
    canvas.toBlob(blob => {
      toBuffer(blob, function (err, buffer) {
        if (err) throw err;
        // do some magic with buffer
      });
    });
  }, 40);
};

electron.desktopCapturer 到 cv.VideoCapture [电子、nodejs、opencv4nodejs]

electron.desktopCapturer to cv.VideoCapture [electron, nodejs, opencv4nodejs]

c++

node.js

opencv

electron

screen