Hadoop Streaming - 输入参数太多

Question

我是 运行 通过 hadoop 流式处理的 map reduce 作业，但它给我一个错误 "too many params"。问题在于我在输入参数中传递超过 1500 个目录的输入。我无法减少输入文件的数量。

任何建议。

Answer 1

您始终可以对 select 许多文件使用通配符，而无需明确列出它们。