在 hadoop Map-Reduce 中,如何知道映射任务结束或映射器文件结束
In hadoop Map-Reduce, how to know end of map task or end of file for mapper
在 MapReduce 作业中,mapper 从输入文件的第一行开始处理到第 n 行。我需要找出我们的映射器何时开始处理第 n 行。当映射器正在执行最后一行输入时,我想执行一些操作。所以,我想向映射器指示文件的最后一行。 Hadoop库中有没有什么方法可以实现这个?
我正在使用 Hadoop 2.4。
您似乎正试图在销毁任务之前在映射器中执行一些清理工作。那是对的吗?如果是这样,覆盖 org.apache.hadoop.mapreduce.Mapper#cleanup(Context) 就足够了吗?
在 MapReduce 作业中,mapper 从输入文件的第一行开始处理到第 n 行。我需要找出我们的映射器何时开始处理第 n 行。当映射器正在执行最后一行输入时,我想执行一些操作。所以,我想向映射器指示文件的最后一行。 Hadoop库中有没有什么方法可以实现这个?
我正在使用 Hadoop 2.4。
您似乎正试图在销毁任务之前在映射器中执行一些清理工作。那是对的吗?如果是这样,覆盖 org.apache.hadoop.mapreduce.Mapper#cleanup(Context) 就足够了吗?