如何在 avro 模式中合并联合类型的多个数据类型以在值字段中显示一种数据类型而不是 member0 member1

Question

我有以下 avro 架构

{
  "name": "MyClass",
  "type": "record",
  "namespace": "com.acme.avro",
  "fields": [
    {
      "name": "data",
      "type": 
        {
        "type": "map",
        "values": ["int","string"]
      }
    }
  ]
}

但是，当我通过 kafka 流式传输一些事件以激发此模式时，流式数据帧将数据字段描述为一个结构，其成员具有模式中指定的数据类型，如下图所示。

Schema format of the dataframe

是否有可能合并成员以仅显示键的值而不是将其拆分并表示为多个成员

很喜欢number : -64

而不是number : { member0 : -64 , member1 : null}

Answer 1

没有任何方法可以合并它们，这就是 avro 处理联合数据类型的方式。可能不得不忍受它。