多节点 spark 集群上的 spark-shell 无法在远程工作节点上旋转执行程序
spark-shell on multinode spark cluster fails to spon executor on remote worker node
在独立模式下安装了 2 个节点的 spark 集群，第一个节点上有 spark master 运行ning，另一个节点上有 spark worker。当我尝试 运行 使用字数统计代码在工作节点上 shell 时它 运行 很好但是当我尝试 运行 在主节点上触发 shell它给出以下输出：
WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
执行器未被触发到 运行 作业。即使有工作人员可用于火花大师，它也会出现这样的问题。需要任何帮助，谢谢
您使用客户端部署模式，所以最好的办法是执行程序节点无法连接到本地计算机上的驱动程序端口。这可能是防火墙问题或广告 IP/主机名问题。请确保：
spark.driver.bindAddressspark.driver.hostspark.driver.port
使用预期值。请参考 Spark documentation.
的网络部分
不太可能是资源不足。请检查您是否请求的资源不超过工作人员提供的资源。
在独立模式下安装了 2 个节点的 spark 集群，第一个节点上有 spark master 运行ning，另一个节点上有 spark worker。当我尝试 运行 使用字数统计代码在工作节点上 shell 时它 运行 很好但是当我尝试 运行 在主节点上触发 shell它给出以下输出：
WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
执行器未被触发到 运行 作业。即使有工作人员可用于火花大师，它也会出现这样的问题。需要任何帮助，谢谢
您使用客户端部署模式，所以最好的办法是执行程序节点无法连接到本地计算机上的驱动程序端口。这可能是防火墙问题或广告 IP/主机名问题。请确保：
spark.driver.bindAddressspark.driver.hostspark.driver.port
使用预期值。请参考 Spark documentation.
的网络部分不太可能是资源不足。请检查您是否请求的资源不超过工作人员提供的资源。