一个工人的多个火花流上下文
Multiple spark streaming contexts on one worker
我有一个带 2 个 CPU 的单节点集群，我想在其中 运行 2 个 spark 流作业。
我也想使用提交模式"cluster"。我正在使用独立集群管理器。
当我提交一份申请时，我看到 driver 消耗 1 个 core，worker 消耗 1 个 core。
这是否意味着没有可用于其他流媒体作业的核心？ 2 个流作业可以重用执行器吗？
这让我很困惑，我在文档中发现它不是很清楚。
Srdjan
Does it mean that there are no cores available for other streaming job?
如果您有一个 worker 和 2 CPU，并且您正在集群模式下部署，那么您将没有可用的核心，因为 worker 必须为 tge 驱动程序进程使用专用核心在您的工作计算机上 运行。
Can 2 streaming jobs reuse executors?
不是，每个作业都需要分配集群管理器给定的专用资源。如果一个作业是 运行 所有可用资源，则下一个计划的作业将处于 WAITING 状态，直到第一个完成。您可以在 Spark UI.
中看到它
我有一个带 2 个 CPU 的单节点集群，我想在其中 运行 2 个 spark 流作业。
我也想使用提交模式"cluster"。我正在使用独立集群管理器。 当我提交一份申请时，我看到 driver 消耗 1 个 core，worker 消耗 1 个 core。
这是否意味着没有可用于其他流媒体作业的核心？ 2 个流作业可以重用执行器吗？
这让我很困惑，我在文档中发现它不是很清楚。
Srdjan
Does it mean that there are no cores available for other streaming job?
如果您有一个 worker 和 2 CPU，并且您正在集群模式下部署，那么您将没有可用的核心，因为 worker 必须为 tge 驱动程序进程使用专用核心在您的工作计算机上 运行。
Can 2 streaming jobs reuse executors?
不是，每个作业都需要分配集群管理器给定的专用资源。如果一个作业是 运行 所有可用资源，则下一个计划的作业将处于 WAITING 状态，直到第一个完成。您可以在 Spark UI.
中看到它