通过 Spark 连接器将 Avro 加载到 BigQuery

Loading Avro into BigQuery via the Spark Connector

从我在这些示例中看到的情况来看,它只能通过 Gson 实现。是否可以通过 Spark Connector 将 Avro 对象直接加载到 BigQuery table 中?当 avro 规范开始超越简单的原始值时,从 Avro 转换到 BigQuery Json 变得很痛苦。 (例如工会)

干杯

不通过 Spark Connector,但 BigQuery 支持直接加载 AVRO 文件:https://cloud.google.com/bigquery/loading-data#loading_avro_files