Apache Beam - 将大查询读取为通用记录(Avro 格式)
Apache Beam - Reading Big Query as Generic Records (Avro format)
我正在尝试读取 Dataflow 上的 BigQuery 数据,我想将其读取为通用记录类型而不是 TableRows。有什么方法可以直接加载为通用记录而不需要从 TableRows 转换为通用记录?
SchemaAndRecord
已经包含 GenericRecord
。那么你能做这样的事情吗?
BigQueryIO.read(
(SerializableFunction<SchemaAndRecord, GenericRecord>) input -> input.getRecord());
我正在尝试读取 Dataflow 上的 BigQuery 数据,我想将其读取为通用记录类型而不是 TableRows。有什么方法可以直接加载为通用记录而不需要从 TableRows 转换为通用记录?
SchemaAndRecord
已经包含 GenericRecord
。那么你能做这样的事情吗?
BigQueryIO.read(
(SerializableFunction<SchemaAndRecord, GenericRecord>) input -> input.getRecord());