使用 skvideo.io.FFmpegWriter 从相机写入帧

Question

我正在尝试使用 skvideo.io.FFmpegWriter 和 cv2.VideoCapture 精确控制动态捕获的相机图像帧的视频编码，例如

from skvideo import io
import cv2

fps = 60
stream = cv2.VideoCapture(0)                    # 0 is for /dev/video0
print("fps: {}".format(stream.set(cv2.CAP_PROP_FPS, fps)))

stream.set(cv2.CAP_PROP_FRAME_WIDTH, 1920)
stream.set(cv2.CAP_PROP_FRAME_HEIGHT, 1080)
print("bit_depth: {}".format(stream.set(cv2.CAP_PROP_FORMAT, cv2.CV_8U)))

video = io.FFmpegWriter('/tmp/test_ffmpeg.avi', 
            inputdict={'-r': fps, '-width': 1920, '-height': 1080},
            outputdict={'-r': fps, '-vcodec': 'libx264', '-pix_fmt': 'h264'}
)

try:
    for i in range(fps*10):  # 10s of video
        ret, frame = stream.read()
        video.writeFrame(frame)
finally:
    stream.release()

try:
    video.close()
except:
    pass

但是，我得到以下异常（在 Jupyter notebook 中）：

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)

<ipython-input-33-007a547c4229> in <module>()
     18     while range(fps*10):
     19         ret, frame = stream.read()
---> 20         video.writeFrame(frame)
     21 except BaseException as err:
     22     raise err

/usr/local/lib/python3.6/site-packages/skvideo/io/ffmpeg.py in writeFrame(self, im)
    446         T, M, N, C = vid.shape
    447         if not self.warmStarted:
--> 448             self._warmStart(M, N, C)
    449 
    450         # Ensure that ndarray image is in uint8

/usr/local/lib/python3.6/site-packages/skvideo/io/ffmpeg.py in _warmStart(self, M, N, C)
    412         cmd = [_FFMPEG_PATH + "/" + _FFMPEG_APPLICATION, "-y"] + iargs + ["-i", "-"] + oargs + [self._filename]
    413 
--> 414         self._cmd = " ".join(cmd)
    415 
    416         # Launch process

TypeError: sequence item 3: expected str instance, int found

将其更改为 video.writeFrame(frame.tostring()) 结果 ValueError: Improper data input，让我很困惑。

我应该如何将每一帧（由 OpenCV 返回）写入我的 FFmpegWriter 实例？

编辑

如果我从 io.FFmpegWriter 调用中删除 inputdict 和 outputdict，代码工作正常，但是这违背了我的目的，因为我需要对视频编码进行精细控制（我我正在试验 lossless/near-lossless 压缩从相机捕获的原始视频，并尝试在压缩与保真度方面根据我的需要建立最佳折衷。

Answer 1

这里要注意几点：

skvideo.io.FFmpegWriter 使用 ffmpeg 命令行工具对视频进行编码，而不是 C API。因此，请先在终端中测试您的 ffmpeg 命令，以确保您的管道正常工作。
inputdict={},outputdict={} 接受字符串输入而不是整数。如果你有一个整数变量然后使用 str(var_name) 将它转换为字符串。
您必须确保您正在使用的 pix_fmt 编解码器支持。要获得所有 pix_fmt 的列表，请使用 ffmpeg -pix_fmts。请记住，x264 不接受 ffmpeg 内部支持的所有 pix_fmt。

因此，对于近乎无损的编码（参见this and this），我们可以使用以下命令：

ffmpeg -s 1920x1080 -r 60 -i /dev/video0 -s 1920x1080 -r 60 -c:v libx264 -crf 17 -preset ultrafast -pix_fmt yuv444p test_ffmpeg.avi

翻译成 skvideo.io.FFmpegWriter 的相同命令将是：

fps = 60
width = 1920
height = 1080
crf = 17
video = io.FFmpegWriter('/tmp/test_ffmpeg.avi', 
            inputdict={'-r': str(fps), '-s':'{}x{}'.format(width,height)},
            outputdict={'-r': str(fps), '-c:v': 'libx264', '-crf': str(crf), '-preset': 'ultrafast', '-pix_fmt': 'yuv444p'}
)

使用 skvideo.io.FFmpegWriter 从相机写入帧

Writing frames from camera using skvideo.io.FFmpegWriter

python

opencv

ffmpeg

video-capture

scikits

编辑