火花奴隶和火花工人有什么区别?
What is difference between spark-slave and spark-worker?
我知道Spark配置里slave改成了worker
但是当我下载 Spark-3.2.0 时,我看到 start-slave.sh 和 start-worker.sh 都存在于 'sbin' 文件夹下。
两个 shell 做同样的事情吗?
这些脚本是一样的,slave
已经重命名为worker
https://issues.apache.org/jira/browse/SPARK-32004
出于向后兼容的目的,我假设它保留旧名称
比较:
3.2.0 - https://spark.apache.org/docs/3.2.0/spark-standalone.html#starting-a-cluster-manually
3.0.1 0 https://spark.apache.org/docs/3.0.1/spark-standalone.html#starting-a-cluster-manually
我知道Spark配置里slave改成了worker
但是当我下载 Spark-3.2.0 时,我看到 start-slave.sh 和 start-worker.sh 都存在于 'sbin' 文件夹下。
两个 shell 做同样的事情吗?
这些脚本是一样的,slave
已经重命名为worker
https://issues.apache.org/jira/browse/SPARK-32004
出于向后兼容的目的,我假设它保留旧名称
比较: 3.2.0 - https://spark.apache.org/docs/3.2.0/spark-standalone.html#starting-a-cluster-manually 3.0.1 0 https://spark.apache.org/docs/3.0.1/spark-standalone.html#starting-a-cluster-manually