在 spark 集群主机上执行 Scala 代码？
Scala code execution on master of spark cluster?
spark 应用程序使用了一些 API 不使用 spark-session 的调用。我相信当这段代码不使用 spark 时，它会在主节点上执行！
为什么我想知道这个？
当我尝试使用 API 调用 POST 某些文件时，我收到 java 堆 space 错误，我相信如果我升级 master 并增加驱动程序内存，它可以解决了。
想了解这类应用在Spark集群上是如何执行的？
我的理解正确还是我遗漏了什么？
这取决于 - closures/functions 传递给 built-in 函数 transform 或您创建的 udfs 中的任何代码，forEachBatch（以及其他一些地方）中的代码将 运行 在工人身上。驱动程序
上的其他代码 运行
spark 应用程序使用了一些 API 不使用 spark-session 的调用。我相信当这段代码不使用 spark 时，它会在主节点上执行！
为什么我想知道这个？ 当我尝试使用 API 调用 POST 某些文件时，我收到 java 堆 space 错误，我相信如果我升级 master 并增加驱动程序内存，它可以解决了。
想了解这类应用在Spark集群上是如何执行的？ 我的理解正确还是我遗漏了什么？
这取决于 - closures/functions 传递给 built-in 函数 transform 或您创建的 udfs 中的任何代码，forEachBatch（以及其他一些地方）中的代码将 运行 在工人身上。驱动程序