Mapreduce 映射器将键和值作为文本字段传递

Question

我有一个小项目，其中有一个包含 2 个制表符分隔文本列的文件。我希望我的映射器从文件中读取它们并将第二列设置为键，将第一列设置为减速器的值，但我似乎无法完成。然后，我想将 (key, value) 对传递给 reducer，它将为每个键创建一个包含所有值的列表。

public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {

    private final static IntWritable one = new IntWritable(1);
    private Text site = new Text();
    private Text tag = new Text();

    public void map(Object key, Text value, Context context) 
                        throws IOException, InterruptedException {

        StringTokenizer itr = new StringTokenizer(value.toString(), "\t");
        while (itr.hasMoreTokens()) {
            site.set(itr.nextToken());
            tag.set(itr.nextToken());
            context.write(tag, site);
        }
    }
}

我在 conext.write 行收到一个错误。我该如何解决？

Answer 1

您在 context.write(tag, site); 中写入的值（站点）是一个 Text 对象，但您有 Mapper<Object, Text, Text, IntWritable>。您应该将其更改为 Mapper<Object, Text, Text, Text>.

此刻你告诉它你要输出一个 IntWritable 作为值。

您也可以删除 private final static IntWritable one = new IntWritable(1);，因为它未被使用。

Mapreduce 映射器将键和值作为文本字段传递

Mapreduce mapper to pass both key and value as text fields

java

mapreduce

inputformatter