为什么 Spark 检测到 8 个内核,而我只有 4 个内核?

Why is Spark detecting 8 cores, when I only have 4?

我在一台机器上设置了一个 Apache Spark 1.6.1 独立集群,规格如下:

我没有设置任何东西,所以 Spark 可以采用默认值,对于核心来说是 "all the available cores",基于此,问题是:

为什么 Spark 检测到 8 个内核,而我只有 4 个内核?

我假设设置 all available cores 意味着 Spark 也在使用 Virtual cores

并且由于您的 CPU 确实支持超线程,它有 8 个可用的虚拟内核。

如果您只想使用物理内核,我假设有一个特定的设置。