从数据流加载 Bigquery table 时，我们如何设置 maximum_bad_records？

Question

有没有办法设置写入BigqueryIO时的最大坏记录数？它似乎将默认值保持在 0。

Answer 1

目前，遗憾的是，我们没有提供直接设置 configuration.load.maxBadRecords 与 Cloud Dataflow 中 BigQueryIO 相关的值的方法。

作为解决方法，您应该能够应用自定义 ParDo 转换，在将 "bad records" 传递给 BigQueryIO.Write 之前对其进行过滤。因此，BigQuery 不应获得任何 "bad records"。希望这会有所帮助。

如果控制 configuration.load.maxBadRecords 的能力对您很重要，欢迎您在 issue tracker of our GitHub repository 中提交功能请求。