Mapreduce 处理同一目录中的多个文件
Mapreduce processing multiple files in same directory
如果我的输入文件夹中有两个文件,hadoop mapreduce 会将这两个文件作为 .有没有办法为这两个文件指定不同的处理方式?例如,假设不是为每个单词 I encounter 触发 1,如果这个词在文件 1 中,我想触发 1,如果它出现在同一目录中的文件 2 中,则触发 2。你会怎么做?
你应该能够得到这个 post How to get the input file name in the mapper in a Hadoop program?
中描述的文件名
一旦你有了文件名,你就可以有一个条件来检查文件名,你应该能够触发 1 或 2。
如果我的输入文件夹中有两个文件,hadoop mapreduce 会将这两个文件作为 .有没有办法为这两个文件指定不同的处理方式?例如,假设不是为每个单词 I encounter 触发 1,如果这个词在文件 1 中,我想触发 1,如果它出现在同一目录中的文件 2 中,则触发 2。你会怎么做?
你应该能够得到这个 post How to get the input file name in the mapper in a Hadoop program?
中描述的文件名一旦你有了文件名,你就可以有一个条件来检查文件名,你应该能够触发 1 或 2。