如何在没有火花的情况下从 S3 读取 Parquet 文件？ Java

Question

目前，我正在使用 Apache ParquetReader 读取本地镶木地板文件，看起来像这样：

ParquetReader<GenericData.Record> reader = null;
    Path path = new Path("userdata1.parquet");
    try {
        reader = AvroParquetReader.<GenericData.Record>builder(path).withConf(new Configuration()).build();
        GenericData.Record record;
        while ((record = reader.read()) != null) {
            System.out.println(record);

但是，我试图通过 S3 访问镶木地板文件而不下载它。有没有办法直接用parquet解析Inputstream reader?

Answer 1

是的，最新版本的 hadoop 包括对 S3 文件系统的支持。使用 hadoop-aws 库中的 s3a 客户端直接访问 S3 文件系统。

HadoopInputFile 路径应构造为 s3a://bucket-name/prefix/key 以及使用属性

配置的身份验证凭据 access_key 和 secret_key

fs.s3a.access.key
fs.s3a.secret.key

此外，您还需要这些依赖库

hadoop-common 罐子
aws-java-sdk-bundle 罐子

阅读更多：Relevant configuration properties

Answer 2

只是在@franklinsijo 之上添加，对于刚开始使用 S3 的新手，请注意为 Hadoop 配置设置了访问密钥和秘密密钥：下面是一段可能有用的代码：

public static void main(String[] args) throws IOException {
String PATH_SCHEMA = "s3a://xxx/xxxx/userdata1.parquet";
Path path = new Path(PATH_SCHEMA);
Configuration conf = new Configuration();
conf.set("fs.s3a.access.key", "xxxxx");
conf.set("fs.s3a.secret.key", "xxxxx");
InputFile file = HadoopInputFile.fromPath(path, conf);
ParquetReader<GenericRecord> reader = AvroParquetReader.<GenericRecord>builder(file).build();
GenericRecord record;
while ((record = reader.read()) != null) {
  System.out.println(record.toString());
}

我的导入：

import org.apache.avro.generic.GenericRecord;
import org.apache.hadoop.conf.Configuration;
import org.apache.parquet.hadoop.ParquetReader;
import org.apache.parquet.avro.AvroParquetReader;
import org.apache.parquet.hadoop.util.HadoopInputFile;
import org.apache.parquet.io.InputFile;
import java.io.IOException;
import org.apache.hadoop.fs.Path;

Answer 3

我使用了以下依赖项

compile 'org.slf4j:slf4j-api:1.7.5'
compile 'org.slf4j:slf4j-log4j12:1.7.5'
compile 'org.apache.parquet:parquet-avro:1.12.0'
compile 'org.apache.avro:avro:1.10.2'
compile 'com.google.guava:guava:11.0.2'
compile 'org.apache.hadoop:hadoop-client:2.4.0'
compile 'org.apache.hadoop:hadoop-aws:3.3.0'   
compile 'org.apache.hadoop:hadoop-common:3.3.0'      
compile 'com.amazonaws:aws-java-sdk-core:1.11.563'
compile 'com.amazonaws:aws-java-sdk-s3:1.11.563'

例子

Path path = new Path("s3a://yours3path");
Configuration conf = new Configuration();
conf.set("fs.s3a.access.key", "KEY");
conf.set("fs.s3a.secret.key", "SECRET");
conf.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem");
conf.setBoolean("fs.s3a.path.style.access", true);
conf.setBoolean(org.apache.parquet.avro.AvroReadSupport.READ_INT96_AS_FIXED, true);

InputFile file = HadoopInputFile.fromPath(path, conf);
ParquetReader<GenericRecord> reader = AvroParquetReader.<GenericRecord>builder(file).build();
GenericRecord record;
while ((record = reader.read()) != null) {
  System.out.println(record);
}

如何在没有火花的情况下从 S3 读取 Parquet 文件？ Java

How to read Parquet file from S3 without spark? Java

java

hadoop

amazon-s3

apache-spark

parquet