Avro

Question

我正在使用 https://github.com/allegro/json-avro-converter 将我的 json 消息转换为 avro 文件。调用 convertToAvro 方法后，我得到一个字节数组：byte[] byteArrayJson。然后我使用 Apache 的公共库：

FileUtils.writeByteArrayToFile(myFile.avro, byteArrayJson);

文件已创建。当我尝试将其重新转换为 json 时，使用：

java -jar avro-tools-1.8.1.jar tojson myFile.avro > testCheck.json


Exception in thread "main" java.io.IOException: Not a data file.
    at 
org.apache.avro.file.DataFileStream.initialize(DataFileStream.java:105)
    at org.apache.avro.file.DataFileStream.<init>(DataFileStream.java:84)
    at org.apache.avro.tool.DataFileReadTool.run(DataFileReadTool.java:71)
    at org.apache.avro.tool.Main.run(Main.java:87)
    at org.apache.avro.tool.Main.main(Main.java:76)

我创建了一个 Junit 测试并使用了 convertToJson 方法（来自之前的 link）并对字符串断言，一切正常。但是对于罐子，它不起作用。难道我做错了什么？我使用的是 cmd，而不是 powerShell，因为我在 SO post 中看到这可以更改编码。我认为问题出在编码上，但我不知道去哪里找。（我将 windows 用作 OS）

Answer 1

查看 avro 文件后，我发现使用 avro-tools 创建的文件中包含架构，而库从 github 创建的文件中没有。所以我没有使用 convertToAvro 库中的方法，而是使用 convertToGenericDataRecord 然后创建我自己的 dataFileWriter 并设置记录（这是在调用 convertToGenericDataRecord 方法后获得的）。

Answer 2

原因是这两种不同方式生成的 avro 文件不包含相同的数据，这是预期的行为。

作为测试，使用此命令生成 avro 文件

java -jar avro-tools-1.8.2.jar fromjson  --schema-file avroschema.json
testCheck.json > myFile2.auro

现在阅读并在 Java 中打印，注意它不包含 ONLY AVRO RECORD 它还包含 scme（至少）- 请参阅下面的字符串转换数据。这意味着使用 acro 工具和使用 avro 转换器生成的 AVRO 文件中的数据不同

bjavro.schemaœ{"type":"record","name":"Acme","fields":[{"name":"username","type":"string"}]}avro.c

当您尝试使用 tojson 命令读取从转换器生成的 avro 文件时，工具 API "fails" 中的验证。

现在，当使用转换器生成文件时，使用 acro 工具读取 "json" 的正确命令是 fragtojson。看到我们真的只读 JSON 片段（这里是 avro 记录）

java -jar avro-tools-1.8.2.jar fragtojson --schema-file avroschema.json myFile.avro > myFile21.json

这里的另一个想法是完全避免使用 AVRO 工具，并创建自己的可执行 jar，并将转换器作为依赖项，并使用它读取 AVRO JSON 记录。

Avro - java.io.IOException: 不是数据文件

Avro - java.io.IOException: Not a data file

java

gradle

spring-boot

avro-tools