使用 java 代码在 hadoop 中读取 csv 文件格式

Question

如何在 eclipse IDE 中使用 Java 代码在 Hadoop 中 读取 CSV 文件格式？

我有一个非常大的 CSV 格式文件，我想访问 HDFS 中的 CSV 文件以执行 map reduce 程序。请任何人帮助我解决问题。

我想要 Java 访问文件的代码。

提前致谢。

Answer 1

您可以将文件作为输入传递给映射器。文件的行将成为映射器的值。

class FileMapper extends Mapper<LongWritable, Text> {
    @Override
    public void map(LongWritable key, Text value, Context context) {
    // process your CSV records here.
    }
}

Answer 2

创建您自己的 CSVInputFormat CSVInputFormat