从数据文件解析 Avro 模式

Question

由于 avro 中的数据文件嵌入了架构，reader 不想保留单独的 .avsc 文件来指定架构。我正在搜索以这种方式工作的 java 示例，但找不到。有人，请帮助我获得相同的代码示例。

Schema schema = new Schema.Parser().parse(new File("./AvroSchema/emp.avsc"));

DatumReader<GenericRecord> datumReader = new GenericDatumReader<GenericRecord>(schema);
DataFileReader<GenericRecord> dataFileReader = new DataFileReader<GenericRecord>(new File("./AvroFileStore/empData.txt"), datumReader);

GenericRecord emp = null;
while (dataFileReader.hasNext()) {
    emp = dataFileReader.next(emp);
    System.out.println(emp);
}

在此示例中，我们使用 datumReader 单独向 DataFileReader 提供 avro 架构。

Answer 1

GenericDatumReader 也有一个不接受任何参数的构造函数。只是不要将任何模式传递给它。当然这只适用于数据文件，不适用于没有嵌入模式的数据流。

顺便说一句，一旦你构建了 dataFileReader，你可以调用它的 getSchema() 方法来获取架构。

来源：Hadoop: The Definitive Guide by Tom White

从数据文件解析 Avro 模式

Avro schema parsing from data file

java

avro