获取 python 中子进程创建的文件列表

Question

我是运行几个不同的 unix 命令作为来自 python 的子进程（使用 python 的 subprocess module），它们生成稍后将在管道。我想知道是否有一种优雅的方法来获取这些子进程生成的文件列表。目前我只是在使用这样的东西：

self.fastQFiles = []
for filename in os.listdir(self.workdir):
    if re.search(r'\.fastq$', filename, re.IGNORECASE):
        self.fastQFiles.append(self.workdir + "/" + filename)

搜索工作目录中的所有文件，return 仅搜索与给定扩展名匹配的文件。如果这是我可能使我的正则表达式更复杂并匹配所有预期文件类型的唯一方法，但我有点担心匹配的旧文件也会出现在搜索中，我想我可以添加一个日期时间组件也一样，但感觉很笨重。

是否有更简洁的方法来 return 子进程生成的文件的名称？

编辑：在进一步思考之后，我能想到的最优雅的解决方案是通过集合减法来实现。

preCounter = Counter(os.listdir('/directory'))
subprocess.(processArguments)
postCounter = Counter(os.listdir('/directory'))
newFiles = list(postCounter - preCounter)

如果有更好的方法，我仍然愿意接受建议。

Answer 1

我个人更喜欢更简单的表达方式。更容易维护。如果你想炫耀，你可以这样做：

self.fastQFiles = [ff for ff in os.listdir(self.workdir) if re.search(r'\.fastq$', ff, re.IGNORECASE)]

或

self.fastQFiles = filter(lambda ff: re.search(r'\.fastq$', ff, re.IGNORECASE), os.listdir(self.workdir)

或使用旧的glob.glob()

或您可以切换到使用 apply_async() 并使您的函数 return 他们创建的文件的名称。然后你就可以简单地得到这样一个列表，而不需要任何 post 处理。

Answer 2

好吧，我想出的解决方案是使用由@hughdbrown 创建的 DictDiffer class 与 os.stat() 相结合。我使用 os.stat() 获取 st_mtime 属性，这是文件最后一次修改的时间，可用于显示文件是否已从一个时间点覆盖到另一个时间点。我将所有内容存储在字典中，文件名作为 st_mtime 处的键作为值。

import os
workdir = '/path/to/directory'    
preFileStats = {}
for filename in os.listdir(workdir):
    preFileStats[filename] = os.stat(workdir + "/" + filename).st_mtime

subprocess.(processArguments)

postFileStats = {}
for filename in os.listdir(workdir):
    postFileStats[filename] = os.stat(workdir + "/" + filename).st_mtime

class DictDiffer(object):
    """
    Calculate the difference between two dictionaries as:
    (1) items added
    (2) items removed
    (3) keys same in both but changed values
    (4) keys same in both and unchanged values
    """
    def __init__(self, current_dict, past_dict):
        self.current_dict, self.past_dict = current_dict, past_dict
        self.set_current, self.set_past = set(current_dict.keys()), set(past_dict.keys())
        self.intersect = self.set_current.intersection(self.set_past)
    def added(self):
        return self.set_current - self.intersect 
    def removed(self):
        return self.set_past - self.intersect 
    def changed(self):
        return set(o for o in self.intersect if self.past_dict[o] != self.current_dict[o])
    def unchanged(self):
        return set(o for o in self.intersect if self.past_dict[o] == self.current_dict[o])

d = DictDiffer(postFileStats, preFileStats)
newFiles = list(d.changed()) + list(d.added())

当然 DictDiffer class 非常强大，也可用于检查已删除文件或未更改文件。

获取 python 中子进程创建的文件列表

Get list of files created by subprocess in python

python

file-io

subprocess