何时更新驱动程序资源
when to update driver resources
全部,
由于驱动程序不保存任何数据或处理任何数据,在什么情况下会将默认资源分配给spark.driver.memory 和 spark.driver.cores 需要更新为更高的值。
有人可以通过一些我可以阅读的链接为我指明正确的方向吗?
谢谢,
grajee
TLDR 答案 :
spark.driver.memory :当你将数据带到驱动程序时。更具体地说,如 Collect 或 Broadcast 操作
spark.driver.cores :毕竟 - 驱动程序进程是 Scala/Java/Python 进程。如果你想做一些多线程(比如后台进程),那么你可以为核心使用更高的值。
全部,
由于驱动程序不保存任何数据或处理任何数据,在什么情况下会将默认资源分配给spark.driver.memory 和 spark.driver.cores 需要更新为更高的值。
有人可以通过一些我可以阅读的链接为我指明正确的方向吗?
谢谢,
grajee
TLDR 答案 :
spark.driver.memory :当你将数据带到驱动程序时。更具体地说,如 Collect 或 Broadcast 操作
spark.driver.cores :毕竟 - 驱动程序进程是 Scala/Java/Python 进程。如果你想做一些多线程(比如后台进程),那么你可以为核心使用更高的值。