Datastax 企业级可用内核数
Datastax enterprise number of cores available
我使用 3 个 m3.large 实例在 AWS 上创建了 Datastax Enterprise 集群，其中所有 3 个节点都是分析节点 运行 Spark。
3 m3.large 个亚马逊实例每个都有 2 个内核，所以总共有 6 个内核。
在 Spark Master 网络上 ui 我看到总共只有 3 个核心可用 -> 在网络上 ui 每个工作节点，我只看到 1 个可用核心。
其他 3 个核心发生了什么？ DSE 是否为 Cassandra 或其他一些操作在每台机器上保留 1 个内核？
谢谢
DSE 中 Spark 可用的内核数默认为 (.7 * total_number_of_cores)。在您的情况下，这将导致 1.4 四舍五入为单个核心。您可以通过编辑
修改您的百分比
/etc/dse/dse.yaml
or
install_location/resources/dse/conf/dse.yaml
和调整
initial_spark_worker_resources: .7
下面的文档还更详细地介绍了如何修改您的 Spark 设置。但是，重要的是要注意，如果您的机器的所有内核都分配给 Spark，您的系统将结束上下文切换并降低性能。
我使用 3 个 m3.large 实例在 AWS 上创建了 Datastax Enterprise 集群，其中所有 3 个节点都是分析节点 运行 Spark。
3 m3.large 个亚马逊实例每个都有 2 个内核，所以总共有 6 个内核。
在 Spark Master 网络上 ui 我看到总共只有 3 个核心可用 -> 在网络上 ui 每个工作节点，我只看到 1 个可用核心。
其他 3 个核心发生了什么？ DSE 是否为 Cassandra 或其他一些操作在每台机器上保留 1 个内核？
谢谢
DSE 中 Spark 可用的内核数默认为 (.7 * total_number_of_cores)。在您的情况下，这将导致 1.4 四舍五入为单个核心。您可以通过编辑
修改您的百分比/etc/dse/dse.yaml
or
install_location/resources/dse/conf/dse.yaml
和调整
initial_spark_worker_resources: .7
下面的文档还更详细地介绍了如何修改您的 Spark 设置。但是，重要的是要注意，如果您的机器的所有内核都分配给 Spark，您的系统将结束上下文切换并降低性能。