我可以使用 Combiner 在 mapreduce 作业中计算平均值吗？

Question

我想实施一个 mapreduce 作业，该作业读取具有以下架构的 parquet 文件：

{
  optional int96 dropoff_datetime;
  optional float dropoff_latitude;
  optional float dropoff_longitude;
  optional int32 dropoff_taxizone_id;
  optional float ehail_fee;
  optional float extra;
  optional float fare_amount;
  optional float improvement_surcharge;
  optional float mta_tax;
  optional int32 passenger_count;
  optional binary payment_type (UTF8);
  optional int96 pickup_datetime;
  optional float pickup_latitude;
  optional float pickup_longitude;
  optional int32 pickup_taxizone_id;
  optional int32 rate_code_id;
  optional binary store_and_fwd_flag (UTF8);
  optional float tip_amount;
  optional float tolls_amount;
  optional float total_amount;
  optional float trip_distance;
  optional binary trip_type (UTF8);
  optional binary vendor_id (UTF8);
  required int64 trip_id;
}

这项工作的主要目的是计算出租车在每天每小时的行程中的平均速度 (0->23)。

My Mapper class 计算每个取件小时的速度，因此它会运送以下一对 （小时，速度）。

Reducer class 通常应该计算每小时的平均速度。

但是我想知道我是否可以使用组合器 class 来促进数据处理，因为我了解到组合器 classes 只能用于交换和关联操作，这不是平均权利的案例？

任何帮助将不胜感激。

谢谢:)

Answer 1

合并器可以帮助计算平均值。你基本上想使用组合器给你一个运行总数，你可以在减速器中使用它来计算平均值。

作为输入，组合器将得到 (hour, (speed, 1))，作为输出，它应该产生 (hour, (sum_speed, num_records))。然后，reducer 可以通过将 sum_speed 除以 num_records.

来计算每小时的平均值

例如，如果组合器 1 接收输入：

(1, (50, 1))
(1, (20, 1))
(1, (10, 1))
(23, (16, 1))

然后它会输出：

(1, (80, 3))
(23, (16, 1))

如果组合器 2 收到输入：

(1, (20, 1))
(23, (40, 1))

然后它会输出：

(1, (20, 1))
(23, (40, 1))

reducer 会在除法之前再次对它们求和：

(1, (80+20, 3+1)) = (1, (100, 4)) = (1, 25) 
(23, (16+40, 1+1)) = (23, (56, 2)) = (23, 28)

以(hour, average_speed).

的形式给出答案

我可以使用 Combiner 在 mapreduce 作业中计算平均值吗？

Can I use Combiner to compute average in a mapreduce job?

hadoop

average

mapreduce

reducers

combiners