为什么 Spark UI 显示每个工作人员只有 6 个核心可用，而我有更多？
Why does Spark UI show only 6 cores available per worker while I have more?
为什么 Spark UI 只显示 6 个核心 available 每个 worker（不是核心数 used）而我我的 3 台机器中的每台机器都有 16 个（8 个插槽 * 2 cores/socket），如果考虑到每个内核的线程数 (2)，甚至有 32 个。我试图在 spark-env.sh 文件中设置 SPARK_WORKER_CORES 但它没有任何改变（我对所有 3 个工人进行了更改）。我还评论了该行以查看它是否改变了什么：可用内核数始终停留在 6。
我在独立集群中使用 Spark 2.2.0：
pyspark --master spark://myurl:7077
lscpu 命令的结果：
我发现我只需要停止主机和从机并重新启动它们，以便刷新参数 SPARK_WORKER_CORES。
为什么 Spark UI 只显示 6 个核心 available 每个 worker（不是核心数 used）而我我的 3 台机器中的每台机器都有 16 个（8 个插槽 * 2 cores/socket），如果考虑到每个内核的线程数 (2)，甚至有 32 个。我试图在 spark-env.sh 文件中设置 SPARK_WORKER_CORES 但它没有任何改变（我对所有 3 个工人进行了更改）。我还评论了该行以查看它是否改变了什么：可用内核数始终停留在 6。
我在独立集群中使用 Spark 2.2.0：
pyspark --master spark://myurl:7077
lscpu 命令的结果：
我发现我只需要停止主机和从机并重新启动它们，以便刷新参数 SPARK_WORKER_CORES。