同时解析 python 中的多个子命令或以其他方式对解析的参数进行分组

Question

我正在将 Bash shell 安装程序实用程序转换为 Python 2.7，并且需要实施复杂的 CLI，以便我能够解析数十个参数（可能高达 ~150 个）。这些是 Puppet class 变量的名称，此外还有许多通用部署选项，这些选项在 shell 版本中可用。

然而，在我开始添加更多变量之后，我面临着几个挑战： 1. 我需要将参数分组到单独的字典中，以便将部署选项与 Puppet 变量分开。如果它们被扔到同一个桶中，那么我将不得不编写一些逻辑来对它们进行排序，可能会重命名参数，然后字典合并将不是微不足道的。 2. 可能有同名但属于不同 Puppet class 的变量，所以我认为子命令可以让我过滤什么去哪里并避免名称冲突。

目前我已经通过简单地添加多个解析器实现了参数解析：

parser = argparse.ArgumentParser(description='deployment parameters.')
env_select = parser.add_argument_group(None, 'Environment selection')
env_select.add_argument('-c', '--client_id',  help='Client name to use.')
env_select.add_argument('-e', '--environment', help='Environment name to use.')
setup_type = parser.add_argument_group(None, 'What kind of setup should be done:')
setup_type.add_argument('-i', '--install', choices=ANSWERS, metavar='', action=StoreBool, help='Yy/Nn Do normal install and configuration')
# MORE setup options
...
args, unk = parser.parse_known_args()
config['deploy_cfg'].update(args.__dict__)

pup_class1_parser = argparse.ArgumentParser(description=None)
pup_class1 = pup_class1_parser.add_argument_group(None, 'Puppet variables')
pup_class1.add_argument('--ad_domain', help='AD/LDAP domain name.')
pup_class1.add_argument('--ad_host', help='AD/LDAP server name.')
# Rest of the parameters

args, unk = pup_class1_parser.parse_known_args()
config['pup_class1'] = dict({})
config['pup_class1'].update(args.__dict__)
# Same for class2, class3 and so on.

此方法无法解决问题 2 的问题。此外，第一个解析器使用“-h”选项，其余参数未显示在帮助中。

我曾尝试使用 example selected as an answer 但我无法同时使用这两个命令。

## This function takes the 'extra' attribute from global namespace and re-parses it to create separate namespaces for all other chained commands.
def parse_extra (parser, namespace):
  namespaces = []
  extra = namespace.extra
  while extra:
    n = parser.parse_args(extra)
    extra = n.extra
    namespaces.append(n)

  return namespaces

pp = pprint.PrettyPrinter(indent=4)

argparser=argparse.ArgumentParser()
subparsers = argparser.add_subparsers(help='sub-command help', dest='subparser_name')

parser_a = subparsers.add_parser('command_a', help = "command_a help")
## Setup options for parser_a
parser_a.add_argument('--opt_a1', help='option a1')
parser_a.add_argument('--opt_a2', help='option a2')

parser_b = subparsers.add_parser('command_b', help = "command_b help")
## Setup options for parser_a
parser_b.add_argument('--opt_b1', help='option b1')
parser_b.add_argument('--opt_b2', help='option b2')


## Add nargs="*" for zero or more other commands
argparser.add_argument('extra', nargs = "*", help = 'Other commands')

namespace = argparser.parse_args()
pp.pprint(namespace)
extra_namespaces = parse_extra( argparser, namespace )
pp.pprint(extra_namespaces)

我的结果是：

$ python argtest.py command_b --opt_b1 b1 --opt_b2 b2 command_a --opt_a1 a1
usage: argtest.py [-h] {command_a,command_b} ... [extra [extra ...]]
argtest.py: error: unrecognized arguments: command_a --opt_a1 a1

当我尝试用两个子解析器定义父解析器时，结果相同。

问题

我能否以某种方式使用 parser.add_argument_group 进行参数解析，还是仅用于帮助打印输出中的分组？它将解决问题 1 而不会丢失帮助副作用。将其作为 parse_known_args(namespace=argument_group) 传递（如果我没记错的话）会获取所有变量（没关系），但也会在结果字典中获取所有 Python 对象内容（这对 hieradata YAML 不利）
我在第二个示例中遗漏了什么以允许使用多个子命令？还是 argparse 不可能？
关于对命令行变量进行分组的任何其他建议？我看过 Click，但没有发现比标准 argparse 对于我的任务有任何优势。

注意：我是系统管理员，不是程序员，所以请对我的非对象风格编码轻描淡写。 :)

谢谢

已解决 通过 hpaulj 建议的答案解决了参数分组。

import argparse
import pprint
parser = argparse.ArgumentParser()

group_list = ['group1', 'group2']

group1 = parser.add_argument_group('group1')
group1.add_argument('--test11', help="test11")
group1.add_argument('--test12', help="test12")

group2 = parser.add_argument_group('group2')
group2.add_argument('--test21', help="test21")
group2.add_argument('--test22', help="test22")

args = parser.parse_args()
pp = pprint.PrettyPrinter(indent=4)

d = dict({})

for group in parser._action_groups:
    if group.title in group_list:
        d[group.title]={a.dest:getattr(args,a.dest,None) for a in group._group_actions}

print "Parsed arguments"
pp.pprint(d)

这让我得到了第 1 期的预期结果。直到我将有多个同名参数。解决方案可能看起来很丑陋，但至少它按预期工作。

python argtest4.py --test22 aa  --test11 yy11 --test21 aaa21
Parsed arguments
{   'group1': {   'test11': 'yy11', 'test12': None},
    'group2': {   'test21': 'aaa21', 'test22': 'aa'}}

Answer 1

您的问题过于复杂，无法一次理解和回答。但我会抛出一些初步的想法。

是的，argument_groups 只是帮助中参数分组的一种方式。它们对解析没有影响。

另一个最近的 SO 询问了关于解析参数组的问题：

该发帖人最初想使用组作为解析器，但 argparse class 结构不允许这样做。 argparse 以对象样式编写。 parser=ArguementParser... 创建一个 class 对象，parser.add_arguement... 创建另一个，add_argument_group... 再创建一个。您可以通过子 classing ArgumentParser 或 HelpFormatter 或 Action classes 等来自定义它

我提到了一个parents机制。您定义一个或多个父解析器，并使用它们来填充您的 'main' 解析器。它们可以是运行独立的（使用 parse_known_args），而 'main' 用于处理帮助。

我们还讨论了在解析后对参数进行分组。 namespace 是一个简单的对象，其中每个参数都是一个属性。它还可以转换为字典。从字典中提取项目组很容易。

有关于使用多个子解析器的问题。这是一个尴尬的提议。可能，但并不容易。子解析器就像向系统程序发出命令。您通常每次调用发出一个命令。您不嵌套它们或发出序列。您让 shell 管道和脚本处理多个操作。

IPython 使用 argparse 解析其输入。它首先捕获帮助，然后发出自己的消息。大多数参数来自配置文件，因此可以使用默认配置、自定义配置和命令行设置值。这是命名大量参数的示例。

子解析器允许您使用相同的参数名称，但不能在一次调用中调用多个子解析器，这没有多大帮助。即使您可以调用多个子解析器，它们仍会将参数放在同一个名称空间中。此外 argparse 尝试以独立于顺序的方式处理标记的参数。因此，命令行末尾的 --foo 的解析方式与开头相同。

我们在讨论使用参数名称 ('dest') 时遇到了 SO 问题，例如 'group1.argument1'，我什至讨论过使用嵌套名称空间。如果有帮助，我可以查一下。

另一个想法 - 在将其传递给一个或多个解析器之前加载 sys.argv 并对其进行分区。您可以将其拆分为某个关键字或前缀等。

Answer 2

如果你有这么多争论，这似乎是一个设计问题。看起来非常难以管理。您不能使用具有合理默认值集的配置文件来实现吗？或者在命令行中使用合理（即小）数量的参数在代码中进行默认设置，并允许使用 'key:value' 配置文件中的参数覆盖所有内容或其他所有内容？我无法想象必须将 CLI 与您提议的变量数量一起使用。

同时解析 python 中的多个子命令或以其他方式对解析的参数进行分组

Parse multiple subcommands in python simultaneously or other way to group parsed arguments

python

argparse

subcommand