Hadoop 是否记录 reducer 映射的关键？
Does Hadoop log key to reducer mappings?
我正在 Splunk 中查看 Hadoop 日志输出。我想查看为每个减速器分配了哪些键。这些信息是由 Hadoop 记录的吗？我应该在查询中使用哪些关键字来查找相关的日志行？
简短的回答是：不，reducer 记录与处理的键或值无关的任何内容。
在 BigData 中记录该信息不是一个好主意，因为日志行的数量可能非常非常大。
如果你是 运行 一些数据量小的测试，你可以在你的减速器中包含一些 System.out.println 行，但注意不要让当您开始处理大量数据时。
我正在 Splunk 中查看 Hadoop 日志输出。我想查看为每个减速器分配了哪些键。这些信息是由 Hadoop 记录的吗？我应该在查询中使用哪些关键字来查找相关的日志行？
简短的回答是：不，reducer 记录与处理的键或值无关的任何内容。
在 BigData 中记录该信息不是一个好主意，因为日志行的数量可能非常非常大。
如果你是 运行 一些数据量小的测试，你可以在你的减速器中包含一些 System.out.println 行，但注意不要让当您开始处理大量数据时。