没有 Reducer 的 Mapper 作业中的文件数
Number of files in Mapper job without Reducer
我将 Reducer 设置为 0,运行 只有 Mapper 作业。假设有 10 个节点正在执行 Mapper 作业。
我知道 10 个 Mappers 在 HDFS 中生成 10 个文件。但是,结果的最终输出将生成多少个文件?
没有 reducer 的作业是 Map-only 作业,每个映射器都会生成一个输出文件。
请检查:`
When you have a map-only task, there is not shuffling at all, which
means that mappers will write the final output directly to the HDFS.
我将 Reducer 设置为 0,运行 只有 Mapper 作业。假设有 10 个节点正在执行 Mapper 作业。 我知道 10 个 Mappers 在 HDFS 中生成 10 个文件。但是,结果的最终输出将生成多少个文件?
没有 reducer 的作业是 Map-only 作业,每个映射器都会生成一个输出文件。
请检查
When you have a map-only task, there is not shuffling at all, which means that mappers will write the final output directly to the HDFS.