逐行从子进程命令行输出数据

Question

我正在尝试使用预建（C 语言）例程读取大型数据文件（= 数百万行，格式非常特殊）。然后我想通过生成器函数逐行生成结果。

我可以正常读取文件，但是运行:

<command> <filename>

directly in linux 将在找到结果时逐行打印结果，我没有运气尝试在我的生成器函数中复制它。它似乎将整个批次输出为我需要在换行符上拆分的单个字符串，当然，在我可以生成第 1 行之前，所有内容都需要阅读。

这段代码会读取文件，没问题：

import subprocess
import config

file_cmd = '<command> <filename>'

for rec in (subprocess.check_output([file_cmd], shell=True).decode(config.ENCODING).split('\n')):
    yield rec

（ENCODING 在 config.py 中设置为 iso-8859-1 - 这是一个瑞典站点）

我的代码有效，因为它为我提供了数据，但在这样做时，它试图将所有数据保存在内存中。我有比这更大的文件要处理，这可能会耗尽可用内存，所以这不是一个选项。

我在 Popen 上玩过 bufsize，但没有取得任何成功（而且，我无法在 Popen 之后解码或拆分，但我想我现在需要拆分的事实实际上是我的问题!).

Answer 1

我想我现在有这个工作，所以如果其他人稍后正在寻找这个，我会回答我自己的问题......

proc = subprocess.Popen(shlex.split(file_cmd), stdout=subprocess.PIPE)
while True:
    output = proc.stdout.readline()

    if output == b'' and proc.poll() is not None:
        break
    if output:
        yield output.decode(config.ENCODING).strip()

逐行从子进程命令行输出数据

Output data from subprocess command line by line

python-3.x

subprocess

buffering