Google 使用 google 云数据流执行 Bigquery 查询

Question

是否可以直接使用 Google 云数据流执行 Bigquery 的查询并获取数据，而不是从 table 读取数据然后放置条件？

例如，PCollections res=p.apply(BigqueryIO.execute("Select col1,col2 from publicdata:samples.shakeseare where ...."))

我们可以直接使用 Bigquery 查询已经实现的，而不是使用迭代方法重新发明。

感谢和问候

阿杰 KN

Answer 1

BigQueryIO 目前仅支持从 Table 中读取，而不支持从查询或视图 (FAQ) 中读取。

解决此问题的一种方法是在主程序中创建 BigQuery permanent table，方法是在 运行 数据流作业之前发出查询。之后，你的工作 运行s 你可以删除 table。