为什么 Spark 检测到 8 个内核,而我只有 4 个内核?
Why is Spark detecting 8 cores, when I only have 4?
我在一台机器上设置了一个 Apache Spark 1.6.1 独立集群,规格如下:
- CPU:Core i7-4790(核心数:4,线程数:8)
- 内存:16GB
我没有设置任何东西,所以 Spark 可以采用默认值,对于核心来说是 "all the available cores",基于此,问题是:
为什么 Spark 检测到 8 个内核,而我只有 4 个内核?
我假设设置 all available cores
意味着 Spark 也在使用 Virtual cores
并且由于您的 CPU 确实支持超线程,它有 8 个可用的虚拟内核。
如果您只想使用物理内核,我假设有一个特定的设置。
我在一台机器上设置了一个 Apache Spark 1.6.1 独立集群,规格如下:
- CPU:Core i7-4790(核心数:4,线程数:8)
- 内存:16GB
我没有设置任何东西,所以 Spark 可以采用默认值,对于核心来说是 "all the available cores",基于此,问题是:
为什么 Spark 检测到 8 个内核,而我只有 4 个内核?
我假设设置 all available cores
意味着 Spark 也在使用 Virtual cores
并且由于您的 CPU 确实支持超线程,它有 8 个可用的虚拟内核。
如果您只想使用物理内核,我假设有一个特定的设置。