如何从 hadoop mapreduce 程序创建输出文件？

Question

我是hadoop2.60的新手。我写了一个 MapReduce 算法。 数据集如下 1 贷款 1234

2贷234

1 asd 1234

1 个 1234

1 阿斯德 1267

2 qwer 1246

我希望如果 firstColumn 为 1，则该行的所有数据都应转到 file1-output 否则所有数据都应该转到 file2-output.

如何在 map-reduce 中实现。

Answer 1

是的，你可以做到。这可以通过 MultipleOutputFormat and using its generateFileNameForKeyValue 来实现。

使用 if 条件和 MultipleOutputFormat 可以轻松实现。

您可以查看此处以获取更多示例。 Is it possible to have multiple output files for a map-reduce?

希望能回答你的问题