uploading/Inserting 数据到 HDFS 时是否涉及映射器减速器?

Are mappers reducers involved while uploading/Inserting data to HDFS?

我有一个很大的困惑here.When我们upload/insert/putHADOOP HDFS中的数据可知数据根据块大小和复制因子存储在块中。而且Map reduce只有在处理数据的时候才起作用

当我在我的其中一个中插入任何数据时,我正在使用 MRV2 table 我可以看到有 MAP REDUCE 进度 bar.So 确切的图片是什么 here.in 现实中 insertion/uploading 数据到 HDFS 时是否涉及映射器和缩减器?

HDFS 客户端在咨询块位置的名称节点后直接写入数据节点。不需要映射器或缩减器。

参考:Architecture of HDFS Read and Write

因为有进度条,并不代表是MapReduce进程。

如果写入 HDFS 的每个文件都是一个 MapReduce 进程,那么 YARN ResourceManager UI 会记录所有内容,所以如果你不相信我,请查看

是否需要 MapReduce 取决于写入操作的类型。

hdfs dfs -put-copyFromLocal这样的操作在将数据从LocalFS写入HDFS时不使用MapReduce。而 DistCp,执行 inter/intra 集群 HDFS 数据复制,使用映射器。同样,Sqoop 使用映射器将数据导入 HDFS。 Hive 的 LOAD 语句不会,而 INSERT 会。

而且它们只是 Mapper 的 MapReduce 作业。

I'm using MRV2 when i insert any data in one of my table

我假设,您正在将数据插入 Hive table。 INSERT Hive 中的语句使用映射器。

are there an mappers and reducers involved while insertion/uploading the data to HDFS?

不总是。基于write操作,涉及到mappers。

从本地复制数据或将数据放入HDFS时不使用MapReduce。