python mrjob：忽略无法识别的参数

Question

通常，如果我想为 mrjob 定义一个命令行选项，我必须这样做：

class Calculate(MRJob):
    def configure_args(self):
        super(Calculate, self).configure_args()
        self.add_passthru_arg("-t", "--time", help="output folder for time")

当我想使用参数时，我只需要调用 self.options.time 但它只在 class.

内部起作用

我想跟踪 mrjob 的时间并像这样将时间写入 json 文件 cal.py:

from datetime import datetime
import json
import argparse

parser = argparse.ArgumentParser()
parser.add_argument("-t", "--time", help = "Output file")
args = parser.parse_args()

class Calculate(MRJob):
    ...

start_time = datetime.now()
Calculate.run()
execute_time = (datetime.now() - start_time).total_seconds()

data = {}
data["step1"] = execute_time
with open(args.time+'/time.json', 'w') as outfile:
    json.dump(data, outfile)

当我运行使用此命令时：

python cal.py data/input/input.txt --output data/output --time data/output

我收到这个错误：

usage: cal.py [-h] [-t TIME]
cal.py: error: unrecognized arguments: data/input/input.txt --output data/output

然后我找到一个关于使用parse_known_args()的answer，我试了一下：

args, unknown = parser.parse_known_args()

现在，我遇到了一个新错误。我相信这是来自 mrjob 因为我确实删除了 argparse 和运行相同的命令，它 returns 完全像这样：

usage: cal.py [options] [input files]
cal.py: error: unrecognized arguments: --time data/output

如何在不影响 mrjob class 的情况下定义参数？

Answer 1

我找到了一个变通解决方案，但我希望会有更好的方法。

我必须在 mrjob class 中再次定义参数，这样它才能识别它：

from datetime import datetime
import json
import argparse

parser = argparse.ArgumentParser()
parser.add_argument("-t", "--time", help = "Output file")
args, unknown = parser.parse_known_args()

class Calculate(MRJob):
    def configure_args(self):
        super(Calculate, self).configure_args()
        self.add_passthru_arg("-t", "--time", help="output folder for time")

start_time = datetime.now()
Calculate.run()
execute_time = (datetime.now() - start_time).total_seconds()

data = {}
data["step1"] = execute_time
with open(args.time+'/time.json', 'w') as outfile:
    json.dump(data, outfile)

和运行使用此命令：

python cal.py data/input/input.txt --output data/output --time data/output

python mrjob：忽略无法识别的参数

python mrjob: ignore unrecognized arguments

python

argparse

mrjob