Datastax Spark Sql 带有 Spark 应用程序的 Thriftserver
Datastax Spark Sql Thriftserver with Spark Application
我有一个分析节点 运行ning，上面有 Spark Sql Thriftserver 运行ning。现在我不能 运行 另一个带有 spark-submit 的 Spark 应用程序。
它说它没有资源。如何配置dse节点，才能运行两者兼得？
SparkSqlThriftServer 是一个与其他应用程序一样的 Spark 应用程序。这意味着它默认请求并保留集群中的所有资源。
如果您想同时运行多个应用程序，有两种选择：
- 只为每个应用程序分配部分资源。
这是通过将 spark.cores.max 设置为小于集群中最大资源的值来完成的。
- 动态分配
这允许应用程序根据它们尝试执行的工作量来更改它们使用的资源量。
我有一个分析节点 运行ning，上面有 Spark Sql Thriftserver 运行ning。现在我不能 运行 另一个带有 spark-submit 的 Spark 应用程序。
它说它没有资源。如何配置dse节点，才能运行两者兼得？
SparkSqlThriftServer 是一个与其他应用程序一样的 Spark 应用程序。这意味着它默认请求并保留集群中的所有资源。
如果您想同时运行多个应用程序，有两种选择：
- 只为每个应用程序分配部分资源。
这是通过将 spark.cores.max 设置为小于集群中最大资源的值来完成的。
- 动态分配
这允许应用程序根据它们尝试执行的工作量来更改它们使用的资源量。