SPARK：警告 TaskSchedulerImpl：初始作业尚未接受任何资源
SPARK : WARN TaskSchedulerImpl: Initial job has not accepted any resources
所以我试图通过以下 link 在 ubuntu 上安装 Apache Spark 1.2.1 独立集群。
How to install
但是我没有在 VmWare Workstation 中从主机克隆从机，而是使用了两台不同的机器。
我在 spark-env.sh 中声明了以下变量
# - SPARK_MASTER_IP, to bind the master to a different IP address or hostname
export SPARK_MASTER_IP=<master-node IP>
# - SPARK_MASTER_PORT / SPARK_MASTER_WEBUI_PORT, to use non-default ports for the master
# - SPARK_MASTER_OPTS, to set config properties only for the master (e.g. "-Dx=y")
# - SPARK_WORKER_CORES, to set the number of cores to use on this machine
export SPARK_WORKER_CORES=1
# - SPARK_WORKER_MEMORY, to set how much total memory workers have to give executors (e.g. 1000m, 2g)
export SPARK_WORKER_MEMORY=200m
# - SPARK_WORKER_PORT / SPARK_WORKER_WEBUI_PORT, to use non-default ports for the worker
# - SPARK_WORKER_INSTANCES, to set the number of worker processes per node
export SPARK_WORKER_INSTANCES=2
现在当我运行下面的命令
./sbin/start-all.sh
虽然在从属机器上，2 java 个进程出现在系统监视器中，但是主节点系统的 UI 没有显示任何工作节点。
当我运行命令
时仍在继续
MASTER=spark://<master node ip>:7077 ./bin/spark-shell
出现以下错误
WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory
我已确保在需要时输入正确的系统 IP，并尝试减少分配给工作节点的内存。但问题仍然存在。
请帮忙。
还有任何guidance/references[除了 spark 编程指南]在 spark 中进行流式传输将不胜感激。
错误是由于工作节点内存不足造成的。
以下两种可能的解决方案：
- 尝试为工作虚拟机分配更多内存。
- 在 "spark-env.sh" 中减少分配给工作节点的内存
文件。
所以我试图通过以下 link 在 ubuntu 上安装 Apache Spark 1.2.1 独立集群。 How to install
但是我没有在 VmWare Workstation 中从主机克隆从机，而是使用了两台不同的机器。
我在 spark-env.sh 中声明了以下变量
# - SPARK_MASTER_IP, to bind the master to a different IP address or hostname
export SPARK_MASTER_IP=<master-node IP>
# - SPARK_MASTER_PORT / SPARK_MASTER_WEBUI_PORT, to use non-default ports for the master
# - SPARK_MASTER_OPTS, to set config properties only for the master (e.g. "-Dx=y")
# - SPARK_WORKER_CORES, to set the number of cores to use on this machine
export SPARK_WORKER_CORES=1
# - SPARK_WORKER_MEMORY, to set how much total memory workers have to give executors (e.g. 1000m, 2g)
export SPARK_WORKER_MEMORY=200m
# - SPARK_WORKER_PORT / SPARK_WORKER_WEBUI_PORT, to use non-default ports for the worker
# - SPARK_WORKER_INSTANCES, to set the number of worker processes per node
export SPARK_WORKER_INSTANCES=2
现在当我运行下面的命令
./sbin/start-all.sh
虽然在从属机器上，2 java 个进程出现在系统监视器中，但是主节点系统的 UI 没有显示任何工作节点。
当我运行命令
时仍在继续MASTER=spark://<master node ip>:7077 ./bin/spark-shell
出现以下错误
WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory
我已确保在需要时输入正确的系统 IP，并尝试减少分配给工作节点的内存。但问题仍然存在。
请帮忙。
还有任何guidance/references[除了 spark 编程指南]在 spark 中进行流式传输将不胜感激。
错误是由于工作节点内存不足造成的。
以下两种可能的解决方案：
- 尝试为工作虚拟机分配更多内存。
- 在 "spark-env.sh" 中减少分配给工作节点的内存 文件。