在 hadoop 中加入 vs 分布式缓存
joins vs distributed cache in hadoop
hadoop 中的连接和分布式缓存有什么区别。我真的很困惑 map-side join 和 reduce-side join 单桅帆船的工作原理。在处理 mapreduce 作业中的数据时，分布式缓存有何不同。请分享例子。
问候，
拉维
假设您有 2 个包含以下记录的数据文件：
单词 -> 频率
两个文件中可以存在相同的词。
您的任务是合并这些文件，计算每个术语的总频率，并生成聚合文件。
地图端连接。
当连接两边的数据已经按键预排序时很有用。在这种情况下，它是两个具有线性复杂度的流的简单合并。在我们的示例中，我们的词频数据必须按两个文件中的词的字母顺序进行预排序。
优点： 可处理几乎无限的输入数据（不必适合内存）。
不需要reducer，效率很高
缺点： 需要对输入数据进行预排序（例如，作为先前 map/reduce 作业的结果）
减少联接。
当我们的文件尚未排序并且它们太大而无法放入内存时很有用。因此，您必须使用带减速器的分布式排序来合并它们。
优点： 可处理几乎无限的输入数据（不必适合内存）。
缺点： 需要减少阶段
分布式缓存。
当我们的输入词频文件未排序并且两个文件之一足够小以适合内存时很有用。在这种情况下，您可以将其用作分布式缓存，并将其作为散列 table Map 加载到内存中。每个映射器都会将最大的输入文件流式传输为键值对，并从哈希映射中查找较小文件的值。
优点： 基于最大输入集大小的高效线性复杂度。不需要减速器。
缺点： 需要其中一个输入适合内存。
hadoop 中的连接和分布式缓存有什么区别。我真的很困惑 map-side join 和 reduce-side join 单桅帆船的工作原理。在处理 mapreduce 作业中的数据时，分布式缓存有何不同。请分享例子。 问候， 拉维
假设您有 2 个包含以下记录的数据文件：
单词 -> 频率
两个文件中可以存在相同的词。 您的任务是合并这些文件，计算每个术语的总频率，并生成聚合文件。
地图端连接。
当连接两边的数据已经按键预排序时很有用。在这种情况下，它是两个具有线性复杂度的流的简单合并。在我们的示例中，我们的词频数据必须按两个文件中的词的字母顺序进行预排序。
优点： 可处理几乎无限的输入数据（不必适合内存）。 不需要reducer，效率很高
缺点： 需要对输入数据进行预排序（例如，作为先前 map/reduce 作业的结果）
减少联接。
当我们的文件尚未排序并且它们太大而无法放入内存时很有用。因此，您必须使用带减速器的分布式排序来合并它们。
优点： 可处理几乎无限的输入数据（不必适合内存）。
缺点： 需要减少阶段
分布式缓存。
当我们的输入词频文件未排序并且两个文件之一足够小以适合内存时很有用。在这种情况下，您可以将其用作分布式缓存，并将其作为散列 table Map
优点： 基于最大输入集大小的高效线性复杂度。不需要减速器。
缺点： 需要其中一个输入适合内存。