Map-reduce 概念

Question

map 和 reduce 函数使用什么类型的输入和输出 MapReduce的使用？两个函数的输入输出是怎么连接的？

MapReduce中map函数的输入是一个文档

MapReduce中map函数的输出是tuple(word,1)的序列

MapReduce中reduce函数的输入是一个键和该键所有值的列表

MapReduce中reduce函数的输出是元组序列(word,出现次数)

是否正确？连接的功能呢，是组合器？

Answer 1

输入和输出通过序列化连接。

默认输入是 TextInputFormat，它使用 LineRecordReader，但是这两个属性都可以被覆盖

在下面，一切都只是字节，MapReduce 中的可写对象（Text、IntWritable 等）只是 byte[]

上的薄层

Reducer 输入是映射器的连接输出，通过键，是的。输出是键值对或元组。但是这两个值都可以是复杂的对象，因此您输出的不仅仅是两个字段。 Combiner 只是一种不同类型的 Reducer。