使用 QThread 动态创建 QImage 帧到 ffmpeg stdin
Dynamically created QImage frames to ffmpeg stdin using QThread
我正在尝试使用在单独线程上动态创建的帧使用 ffmpeg 创建视频文件。
虽然我可以创建这些帧并将它们存储在 disk/memory 上，但我想避免该段落，因为帧的 amount/size 可能很高 和 许多“工作”可以用不同的格式或选项创建。但是，同样重要的是，我想更好地理解这背后的逻辑，因为我承认我对 thread/processing 的实际工作原理并不十分了解。
现在我正在尝试在 QThread 对象中创建 QProcess，然后 然后 运行 图像创建线程一旦进程启动，但是它似乎不起作用：没有创建文件，我什至没有从标准错误中得到任何输出（但我知道我应该，因为如果我不使用线程我可以得到它）。
不幸的是，由于我对 QProcess 如何处理线程和管道（显然还有所有可能的 ffmpeg 选项）知之甚少，我真的不明白如何实现这一点。
除了创建输出文件之外，预期的结果是能够启动编码（并可能同时排队更多编码）同时保持 UI 响应并获得当前处理的通知状态。
import re
from PyQt5 import QtCore, QtGui, QtWidgets
logRegExp = r'(?:(n:\s+)(?P<frame>\d+)\s).*(?:(pts_time:\s*)(?P<time>\d+.\d*))'
class Encoder(QtCore.QThread):
completed = QtCore.pyqtSignal()
frameDone = QtCore.pyqtSignal(object)
def __init__(self, width=1280, height=720, frameCount=100):
super().__init__()
self.width = width
self.height = height
self.frameCount = frameCount
def start(self):
self.currentLog = ''
self.currentData = bytes()
self.process = QtCore.QProcess()
self.process.setReadChannel(self.process.StandardError)
self.process.finished.connect(self.completed)
self.process.readyReadStandardError.connect(self.stderr)
self.process.started.connect(super().start)
self.process.start('ffmpeg', [
'-y',
'-f', 'png_pipe',
'-i', '-',
'-c:v', 'libx264',
'-b:v', '800k',
'-an',
'-vf', 'showinfo',
'/tmp/test.h264',
])
def stderr(self):
self.currentLog += str(self.process.readAllStandardError(), 'utf-8')
*lines, self.currentLog = self.currentLog.split('\n')
for line in lines:
print('STDERR: {}'.format(line))
match = re.search(logRegExp, line)
if match:
data = match.groupdict()
self.frameDone.emit(int(data['frame']))
def run(self):
font = QtGui.QFont()
font.setPointSize(80)
rect = QtCore.QRect(0, 0, self.width, self.height)
for frame in range(1, self.frameCount + 1):
img = QtGui.QImage(QtCore.QSize(self.width, self.height), QtGui.QImage.Format_ARGB32)
img.fill(QtCore.Qt.white)
qp = QtGui.QPainter(img)
qp.setFont(font)
qp.setPen(QtCore.Qt.black)
qp.drawText(rect, QtCore.Qt.AlignCenter, 'Frame {}'.format(frame))
qp.end()
img.save(self.process, 'PNG')
print('frame creation complete')
class Test(QtWidgets.QWidget):
def __init__(self):
super().__init__()
layout = QtWidgets.QVBoxLayout(self)
self.startButton = QtWidgets.QPushButton('Start')
layout.addWidget(self.startButton)
self.frameLabel = QtWidgets.QLabel()
layout.addWidget(self.frameLabel)
self.process = Encoder()
self.process.completed.connect(lambda: self.startButton.setEnabled(True))
self.process.frameDone.connect(self.frameLabel.setNum)
self.startButton.clicked.connect(self.create)
def create(self):
self.startButton.setEnabled(False)
self.process.start()
import sys
app = QtWidgets.QApplication(sys.argv)
test = Test()
test.show()
sys.exit(app.exec_())
如果我在 run() 末尾添加以下行，那么文件实际上已创建并且我得到了 stderr 输出，但我可以看到它在 [=31] 之后被处理=] for循环完成，这显然不是预期的结果：
self.process.closeWriteChannel()
self.process.waitForFinished()
self.process.terminate()
奖金：我在 Linux，我不知道它在 Windows 上的工作方式是否不同（我 假设 它会以类似的方式工作在 MacOS 上），但无论如何我想知道是否存在差异以及如何处理它们。
事实证明，我是对的，也是错的。
- ffmpeg 有多个级别和数量的内部缓冲，具体取决于 input/output 格式、过滤器和编解码器：我只是没有创建足够的帧来观察这种情况；
- 与 QProcess 的交互应该发生在创建它的线程中；
- 因此，数据不能从不同的线程直接写入写入通道，因此必须使用信号；
- 当所有数据都已写入后，必须关闭写入通道（从其同一线程）以确保完成编码；
考虑到上述情况，我只使用线程创建图像，然后用每个图像保存的 QByteArray 发出一个信号；最后，在图像创建完成后，我等待实际完成（基于 showinfo 过滤器输出），这样线程实际上被认为是 finished。在多个作业的情况下，可以使用一些优化来排队进一步创建图像，但考虑到它可能不会提高性能那么多，我更喜欢当前的方法。
这是修改后的代码，我用不同的格式进行了测试，它似乎按预期工作。
import re
from PyQt5 import QtCore, QtGui, QtWidgets
logRegExp = r'(?:(n:\s+)(?P<frame>\d+)\s).*(?:(pts_time:\s*)(?P<time>\d+.\d*))'
class Encoder(QtCore.QThread):
completed = QtCore.pyqtSignal()
frameDone = QtCore.pyqtSignal(object)
imageReady = QtCore.pyqtSignal(object)
def __init__(self):
super().__init__()
self.imageReady.connect(self.writeImage)
self.queue = []
self.process = QtCore.QProcess()
self.process.setReadChannel(self.process.StandardError)
self.process.finished.connect(self.processQueue)
self.process.readyReadStandardError.connect(self.stderr)
self.process.started.connect(self.start)
def addJob(self, width=1280, height=720, frameCount=500, format='h264', *opts):
self.queue.append((width, height, frameCount, format, opts))
if not self.process.state():
self.processQueue()
def writeImage(self, image):
self.process.write(image)
self.imageCount += 1
if self.imageCount == self.frameCount:
self.process.closeWriteChannel()
def processQueue(self):
if not self.queue:
return
self.currentLog = ''
self.lastFrameWritten = -1
self.imageCount = 0
self.width, self.height, self.frameCount, format, opts = self.queue.pop(0)
args = [
'-y',
'-f', 'png_pipe',
'-i', '-',
]
if opts:
args += [str(o) for o in opts]
args += [
'-an',
'-vf', 'showinfo',
'/tmp/test.{}'.format(format),
]
self.process.start('ffmpeg', args)
def stderr(self):
self.currentLog += str(self.process.readAllStandardError(), 'utf-8')
*lines, self.currentLog = self.currentLog.split('\n')
for line in lines:
match = re.search(logRegExp, line)
if match:
data = match.groupdict()
self.lastFrameWritten = int(data['frame'])
self.frameDone.emit(self.lastFrameWritten + 1)
else:
print(line)
def run(self):
font = QtGui.QFont()
font.setPointSize(80)
rect = QtCore.QRect(0, 0, self.width, self.height)
for frame in range(1, self.frameCount + 1):
img = QtGui.QImage(QtCore.QSize(self.width, self.height),
QtGui.QImage.Format_ARGB32)
img.fill(QtCore.Qt.white)
qp = QtGui.QPainter(img)
qp.setFont(font)
qp.setPen(QtCore.Qt.black)
qp.drawText(rect, QtCore.Qt.AlignCenter, 'Frame {}'.format(frame))
qp.end()
ba = QtCore.QByteArray()
buffer = QtCore.QBuffer(ba)
img.save(buffer, 'PNG')
self.imageReady.emit(ba)
while self.lastFrameWritten < self.frameCount - 1:
self.sleep(.5)
self.completed.emit()
class Test(QtWidgets.QWidget):
def __init__(self):
super().__init__()
layout = QtWidgets.QVBoxLayout(self)
self.startButton = QtWidgets.QPushButton('Start')
layout.addWidget(self.startButton)
self.frameLabel = QtWidgets.QLabel()
layout.addWidget(self.frameLabel)
self.encoder = Encoder()
self.encoder.completed.connect(lambda: self.startButton.setEnabled(True))
self.encoder.frameDone.connect(self.frameLabel.setNum)
self.startButton.clicked.connect(self.create)
def create(self):
self.startButton.setEnabled(False)
self.encoder.addJob()
if __name__ == '__main__':
import sys
app = QtWidgets.QApplication(sys.argv)
test = Test()
test.show()
sys.exit(app.exec_())
我正在尝试使用在单独线程上动态创建的帧使用 ffmpeg 创建视频文件。
虽然我可以创建这些帧并将它们存储在 disk/memory 上，但我想避免该段落，因为帧的 amount/size 可能很高 和 许多“工作”可以用不同的格式或选项创建。但是，同样重要的是，我想更好地理解这背后的逻辑，因为我承认我对 thread/processing 的实际工作原理并不十分了解。
现在我正在尝试在 QThread 对象中创建 QProcess，然后 然后 运行 图像创建线程一旦进程启动，但是它似乎不起作用：没有创建文件，我什至没有从标准错误中得到任何输出（但我知道我应该，因为如果我不使用线程我可以得到它）。
不幸的是，由于我对 QProcess 如何处理线程和管道（显然还有所有可能的 ffmpeg 选项）知之甚少，我真的不明白如何实现这一点。
除了创建输出文件之外，预期的结果是能够启动编码（并可能同时排队更多编码）同时保持 UI 响应并获得当前处理的通知状态。
import re
from PyQt5 import QtCore, QtGui, QtWidgets
logRegExp = r'(?:(n:\s+)(?P<frame>\d+)\s).*(?:(pts_time:\s*)(?P<time>\d+.\d*))'
class Encoder(QtCore.QThread):
completed = QtCore.pyqtSignal()
frameDone = QtCore.pyqtSignal(object)
def __init__(self, width=1280, height=720, frameCount=100):
super().__init__()
self.width = width
self.height = height
self.frameCount = frameCount
def start(self):
self.currentLog = ''
self.currentData = bytes()
self.process = QtCore.QProcess()
self.process.setReadChannel(self.process.StandardError)
self.process.finished.connect(self.completed)
self.process.readyReadStandardError.connect(self.stderr)
self.process.started.connect(super().start)
self.process.start('ffmpeg', [
'-y',
'-f', 'png_pipe',
'-i', '-',
'-c:v', 'libx264',
'-b:v', '800k',
'-an',
'-vf', 'showinfo',
'/tmp/test.h264',
])
def stderr(self):
self.currentLog += str(self.process.readAllStandardError(), 'utf-8')
*lines, self.currentLog = self.currentLog.split('\n')
for line in lines:
print('STDERR: {}'.format(line))
match = re.search(logRegExp, line)
if match:
data = match.groupdict()
self.frameDone.emit(int(data['frame']))
def run(self):
font = QtGui.QFont()
font.setPointSize(80)
rect = QtCore.QRect(0, 0, self.width, self.height)
for frame in range(1, self.frameCount + 1):
img = QtGui.QImage(QtCore.QSize(self.width, self.height), QtGui.QImage.Format_ARGB32)
img.fill(QtCore.Qt.white)
qp = QtGui.QPainter(img)
qp.setFont(font)
qp.setPen(QtCore.Qt.black)
qp.drawText(rect, QtCore.Qt.AlignCenter, 'Frame {}'.format(frame))
qp.end()
img.save(self.process, 'PNG')
print('frame creation complete')
class Test(QtWidgets.QWidget):
def __init__(self):
super().__init__()
layout = QtWidgets.QVBoxLayout(self)
self.startButton = QtWidgets.QPushButton('Start')
layout.addWidget(self.startButton)
self.frameLabel = QtWidgets.QLabel()
layout.addWidget(self.frameLabel)
self.process = Encoder()
self.process.completed.connect(lambda: self.startButton.setEnabled(True))
self.process.frameDone.connect(self.frameLabel.setNum)
self.startButton.clicked.connect(self.create)
def create(self):
self.startButton.setEnabled(False)
self.process.start()
import sys
app = QtWidgets.QApplication(sys.argv)
test = Test()
test.show()
sys.exit(app.exec_())
如果我在 run() 末尾添加以下行，那么文件实际上已创建并且我得到了 stderr 输出，但我可以看到它在 [=31] 之后被处理=] for循环完成，这显然不是预期的结果：
self.process.closeWriteChannel()
self.process.waitForFinished()
self.process.terminate()
奖金：我在 Linux，我不知道它在 Windows 上的工作方式是否不同（我 假设 它会以类似的方式工作在 MacOS 上），但无论如何我想知道是否存在差异以及如何处理它们。
事实证明，我是对的，也是错的。
- ffmpeg 有多个级别和数量的内部缓冲，具体取决于 input/output 格式、过滤器和编解码器：我只是没有创建足够的帧来观察这种情况；
- 与 QProcess 的交互应该发生在创建它的线程中；
- 因此，数据不能从不同的线程直接写入写入通道，因此必须使用信号；
- 当所有数据都已写入后，必须关闭写入通道（从其同一线程）以确保完成编码；
考虑到上述情况，我只使用线程创建图像，然后用每个图像保存的 QByteArray 发出一个信号；最后，在图像创建完成后，我等待实际完成（基于 showinfo 过滤器输出），这样线程实际上被认为是 finished。在多个作业的情况下，可以使用一些优化来排队进一步创建图像，但考虑到它可能不会提高性能那么多，我更喜欢当前的方法。
这是修改后的代码，我用不同的格式进行了测试，它似乎按预期工作。
import re
from PyQt5 import QtCore, QtGui, QtWidgets
logRegExp = r'(?:(n:\s+)(?P<frame>\d+)\s).*(?:(pts_time:\s*)(?P<time>\d+.\d*))'
class Encoder(QtCore.QThread):
completed = QtCore.pyqtSignal()
frameDone = QtCore.pyqtSignal(object)
imageReady = QtCore.pyqtSignal(object)
def __init__(self):
super().__init__()
self.imageReady.connect(self.writeImage)
self.queue = []
self.process = QtCore.QProcess()
self.process.setReadChannel(self.process.StandardError)
self.process.finished.connect(self.processQueue)
self.process.readyReadStandardError.connect(self.stderr)
self.process.started.connect(self.start)
def addJob(self, width=1280, height=720, frameCount=500, format='h264', *opts):
self.queue.append((width, height, frameCount, format, opts))
if not self.process.state():
self.processQueue()
def writeImage(self, image):
self.process.write(image)
self.imageCount += 1
if self.imageCount == self.frameCount:
self.process.closeWriteChannel()
def processQueue(self):
if not self.queue:
return
self.currentLog = ''
self.lastFrameWritten = -1
self.imageCount = 0
self.width, self.height, self.frameCount, format, opts = self.queue.pop(0)
args = [
'-y',
'-f', 'png_pipe',
'-i', '-',
]
if opts:
args += [str(o) for o in opts]
args += [
'-an',
'-vf', 'showinfo',
'/tmp/test.{}'.format(format),
]
self.process.start('ffmpeg', args)
def stderr(self):
self.currentLog += str(self.process.readAllStandardError(), 'utf-8')
*lines, self.currentLog = self.currentLog.split('\n')
for line in lines:
match = re.search(logRegExp, line)
if match:
data = match.groupdict()
self.lastFrameWritten = int(data['frame'])
self.frameDone.emit(self.lastFrameWritten + 1)
else:
print(line)
def run(self):
font = QtGui.QFont()
font.setPointSize(80)
rect = QtCore.QRect(0, 0, self.width, self.height)
for frame in range(1, self.frameCount + 1):
img = QtGui.QImage(QtCore.QSize(self.width, self.height),
QtGui.QImage.Format_ARGB32)
img.fill(QtCore.Qt.white)
qp = QtGui.QPainter(img)
qp.setFont(font)
qp.setPen(QtCore.Qt.black)
qp.drawText(rect, QtCore.Qt.AlignCenter, 'Frame {}'.format(frame))
qp.end()
ba = QtCore.QByteArray()
buffer = QtCore.QBuffer(ba)
img.save(buffer, 'PNG')
self.imageReady.emit(ba)
while self.lastFrameWritten < self.frameCount - 1:
self.sleep(.5)
self.completed.emit()
class Test(QtWidgets.QWidget):
def __init__(self):
super().__init__()
layout = QtWidgets.QVBoxLayout(self)
self.startButton = QtWidgets.QPushButton('Start')
layout.addWidget(self.startButton)
self.frameLabel = QtWidgets.QLabel()
layout.addWidget(self.frameLabel)
self.encoder = Encoder()
self.encoder.completed.connect(lambda: self.startButton.setEnabled(True))
self.encoder.frameDone.connect(self.frameLabel.setNum)
self.startButton.clicked.connect(self.create)
def create(self):
self.startButton.setEnabled(False)
self.encoder.addJob()
if __name__ == '__main__':
import sys
app = QtWidgets.QApplication(sys.argv)
test = Test()
test.show()
sys.exit(app.exec_())