Dataflow sql、Beam SQL(Zeta sql 或 CALCITE SQL)之间有什么区别?

What's the difference between Dataflow sql, Beam SQL (Zeta sql or CALCITE SQL)?

在浏览时,我刚刚遇到 Dataflow SQL。和beamSQL有什么区别吗?

Apache Beam SQLApache Beam 的一项功能,可让您直接从管道执行查询。

如您所见here, Beam SQL has two options of SQL syntax: Beam Calcite SQL and Zeta SQL。使用 Zeta SQL 的优点是它与 BigQuery 的语法非常相似,因此它在读取或写入 BigQuery.

的管道中很有用

Dataflow SQLDataflow 的一项功能,允许您直接从 BigQuery 查询创建管道。文档中说它支持Zeta SQL语法(BigQuery语法)。

要通过 BigQuery 的控制台创建一个新的 Dataflow 作业,请执行以下步骤:

  1. 转到 BigQuery 的控制台
  2. 就在“查询”编辑器下,单击更多,然后单击查询设置
  3. Select 云数据流引擎 在第一个选项中,如下所示

之后,您可以点击 创建 Cloud Dataflow 作业,您的查询将成为 Dataflow 中的作业。

希望对你有帮助