triggering_frequency 只能与写入 BigQuery 的 FILE_LOADS 方法一起使用

Question

无法为数据流流作业设置 triggering_frequency。

transformed | 'Write' >> beam.io.WriteToBigQuery(
          known_args.target_table,
          schema=schema,
          create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED,
          write_disposition=beam.io.BigQueryDisposition.WRITE_APPEND,
          method=bigquery.WriteToBigQuery.Method.FILE_LOADS,
          triggering_frequency=5
          )

Error: triggering_frequency can only be used with FILE_LOADS method of writing to BigQuery

Answer 1

这是一个错误。 WriteToBigQuery 转换有几个实现 - 支持流式传输文件加载的实现相当新，因此它被隐藏在实验之后。

因此：要激活它，请通过 use_beam_bq_sink 作为实验，如下所示：--experiments use_beam_bq_sink.

Answer 2

然而，大约 9 个月后我们仍然看到这个问题。是否仍然使用 experiments=use_beam_bq_sink 进行修复（因为它现在似乎无法在我们这边工作）..