使用 databricks-connect 提交 SparkApplication 时，Spark 驱动程序在哪里？

Question

我正在使用私人服务器通过 databricks-connect 在数据块上提交一些作业。 主机 Spark 驱动程序在哪里？在私人服务器上，它只是将工作发送给数据块工作者？ 我可以直接在我的服务器上看到 .show() 结果，这是什么意思？我是否在使用 客户端模式 ，并且 spark 驱动程序留在私有服务器上？

谢谢

Answer 1

如果您使用 Databricks Connect，安装它的机器就是 Spark 驱动程序，而 Spark 执行器在您的数据平面中。