如何使用 Mapreduce 在 HDFS 中强制存储（覆盖）

Question

如何使用 Mapreduce 程序覆盖 HDFS 中的现有输出。

在 Pig 中有一个语句叫做

rmf /user/cloudera/outputfiles/citycount
STORE rel into '/user/cloudera/outputfiles/citycount';

同样有没有办法在mapreduce程序中实现同样的效果

Answer 1

你可以在你的驱动模块中喜欢这个。

 conf = new Configuration();

 FileSystem fs = FileSystem.get(conf);

 String pathin = args[0];
 String pathout = args[1];

 fs.delete(new Path(pathout), true);


 // it will delete the output folder if the folder already exists.

如何使用 Mapreduce 在 HDFS 中强制存储（覆盖）

How to force store(overwrite) in HDFS using Mapreduce

mapreduce