Azure 数据流 - 源查询下推

Question

我的数据流作业将源和接收器都用作突触数据库。

我在从突触数据库中提取数据时，在数据流中有一个包含连接和转换的源查询。

正如我们所知，引擎盖下的数据流将启动数据块集群以执行数据流代码。

我的问题是，我在数据流中使用的源查询会在突触 db/databricks 集群上执行吗？

Answer 1

数据流需要计算上下文，即 Spark。当您在转换中使用查询时，该查询将从该 Spark 集群中执行，这实际上会被推送到数据库引擎中进行解析。