dataproc 上 client-mode 中的 spark driver 在哪里运行？

Question

如果我没记错的话，dataproc默认在客户端模式下在YARN上提交spark应用

因此，当我从笔记本电脑提交申请时，driver 应该在我的笔记本电脑上 运行。

尽管如此，我还是杀掉了进程，作业还在运行ning。

我想知道 driver 运行 在哪里？

Answer 1

我没有在文档中找到答案，但我的团队在 Dataproc 上测试了客户端和集群模式。我们正在使用客户端模式，因为驱动程序在集群的主节点上运行，使用此配置我们可以分别扩展驱动程序（主机器类型）和工作程序。 在集群模式下，驱动程序在其中一个 worker 上运行。