使用 OpenCV VideoWriter 和 Python BytesIO 在内存中流式传输视频

Question

我想知道是否可以在 Python 中使用 OpenCV VideoWriter class 'stream' 数据？

通常用于处理内存中的数据，否则我会使用 BytesIO（或 StringIO）。

虽然我尝试使用 BytesIO 失败了：

import cv2
from io import BytesIO

stream = cv2.VideoCapture(0)
fourcc = cv2.VideoWriter_fourcc('x264')

data = BytesIO()

# added these to try to make data appear more like a string
data.name = 'stream.{}'.format('av1')
data.__str__ = lambda x: x.name

try:
    video = cv2.VideoWriter(data, fourcc=fourcc, fps=30., frameSize=(640, 480))
    start = data.tell()

        # Check if camera opened successfully
        if (stream.isOpened() == False): 
            print("Unable to read camera feed", file=sys.stderr)
            exit(1)

        # record loop
        while True:
            _, frame = stream.read()
            video.write(frame)
            data.seek(start)
            # do stuff with frame bytes
            # ...

            data.seek(start)

    finally:
        try:
            video.release()
        except:
            pass
finally:
    stream.release()

然而，我没有编写 BytesIO 对象，而是得到以下消息：

Traceback (most recent call last):
  File "video_server.py", line 54, in talk_to_client
    video = cv2.VideoWriter(data, fourcc=fourcc, fps=fps, frameSize=(width, height))
TypeError: Required argument 'apiPreference' (pos 2) not found

... 因此，当我将 VideoWriter 调用修改为 cv2.VideoWriter(data, apiPreference=0, fourcc=fourcc, fps=30., frameSize=(640, 480))（我读到 0 表示自动，但我也尝试过 cv2.CAP_FFMPEG）时，我反而收到以下错误：

Traceback (most recent call last):
  File "video_server.py", line 54, in talk_to_client
    video = cv2.VideoWriter(data, apiPreference=0, fourcc=fourcc, fps=fps, frameSize=(width, height))
TypeError: bad argument type for built-in operation

所以我的问题是，是否可以使用内存中的 cv2.VideoWriter class 编写编码视频，如果可以，如何完成？

此时我还没有想法，所以非常欢迎任何帮助:-)

Answer 1

不幸的是，OpenCV 不支持编码到内存（或从内存解码）。您必须写入（或读取）磁盘，VideoWriter（或 VideoCapture）才能工作。

Answer 2

如果您想方便地加载已在内存中的视频，请使用临时文件：https://docs.python.org/3/library/tempfile.html#tempfile.NamedTemporaryFile

import tempfile
import cv2

my_video_bytes = download_video_in_memory()

with tempfile.NamedTemporaryFile() as temp:
   temp.write(my_video_bytes)

   video_stream = cv2.VideoCapture(temp.name)

   # do your stuff.

不幸的是，这仍会在磁盘上创建一个文件。但是，嘿，至少你不必自己管理。有一个 SpooledTemporaryFile() 实现将保留在内存中，但不幸的是，它不会创建 OpenCV 可以引用的文件系统名称。

编辑更新：

进一步探索 Linux 界面，看起来您可以非常有效地利用一个临时文件，并通过使用 tmpfs 实用程序让它只存在于内存中。

在 Ubuntu 机器上测试，未指定 dir 的 NamedTemporaryFile() 对象将遵循 TMPDIR（恰好指向我机器上的 /tmp。现在，不确定其他 OS 系统，但我的机器没有 /tmp 挂载 tmpfs。它挂载在主分区上。

但是，像这样创建自己的“内存文件系统”非常容易：sudo mount -t tmpfs -o size=1G tmpfs my_folder

如果我们检查 df my_folder -h 的输出，我会看到：

Filesystem      Size  Used Avail Use% Mounted on
tmpfs           1.0G     0  1.0G   0% my_folder

该死的坏人！！

所以现在如果我在 Python 中这样做：

with tempfile.NamedTemporaryFile(dir="my_folder") as temp:

我刚刚在 linux 和 mkstemp 中完全在内存文件系统中创建了一个临时文件。当然，将数据从 python 的内存复制到另一个内存位置确实会产生成本。但是，嘿，在大文件上，这可能比写入磁盘更便宜。

确保您的内存文件系统有足够的内存来保存视频文件，否则，根据设计，tmpfs 无论如何都会利用交换 space 将文件放在磁盘上。

Answer 3

如果你使用Linux，你可以创建一个虚拟磁盘并写入它。

mount -t tmpfs -o size=512m tmpfs /mnt/ramdisk

使用 OpenCV VideoWriter 和 Python BytesIO 在内存中流式传输视频

Streaming video in memory with OpenCV VideoWriter and Python BytesIO

python

opencv

in-memory

video-streaming

cv2