Spark Shell 卡在 YARN Accepted 状态
Spark Shell stuck in YARN Accepted state
运行 Yarn 和 EMR 上的 Spark 1.3.1。当我 运行 spark-shell 时，一切看起来都很正常，直到我开始看到 INFO yarn.Client: Application report for application_1439330624449_1561 (state: ACCEPTED) 之类的消息。这些消息会无休止地生成，每秒一次。同时，我无法使用 Spark shell。
我不明白为什么会这样。
看到（几乎）无穷无尽的来自 YARN 的已接受消息一直是没有足够的集群资源分配给我的 Spark 作业的明确信号/shell。 YARN 将继续尝试安排您的 Spark 应用程序，但如果在一定时间内没有足够的资源可用，YARN 最终会超时。
您是否向 spark-shell 提供了覆盖默认设置的任何命令行选项？当我要求太多 executors/cores/memory YARN 会接受我的请求但永远不会转换为 运行 ApplicationMaster.
尝试 运行 一个没有选项的 spark-shell（也许 --master 纱线除外），看看它是否通过了接受。
意识到我在终端中杀死了几个流媒体作业，但我猜它们不知何故仍然 运行。我能够在显示 YARN 上所有 运行 应用程序的 UI 中找到这些（我也无法执行 Hive 查询）。一旦我使用下面的命令终止了作业，spark-shell 就会像往常一样启动。
yarn application -kill application_1428487296152_25597
我猜 YARN 没有足够的资源来完成 运行 个作业。
请检查
https://www.cloudera.com/documentation/enterprise/5-3-x/topics/cdh_ig_yarn_tuning.html
用于计算您可以为 YARN 提供多少资源。
请检查核心数和RAM数量，由以下变量控制：
yarn.nodemanager.resource.cpu-vcores
yarn.nodemanager.resource.memory-mb
运行 Yarn 和 EMR 上的 Spark 1.3.1。当我 运行 spark-shell 时，一切看起来都很正常，直到我开始看到 INFO yarn.Client: Application report for application_1439330624449_1561 (state: ACCEPTED) 之类的消息。这些消息会无休止地生成，每秒一次。同时，我无法使用 Spark shell。
我不明白为什么会这样。
看到（几乎）无穷无尽的来自 YARN 的已接受消息一直是没有足够的集群资源分配给我的 Spark 作业的明确信号/shell。 YARN 将继续尝试安排您的 Spark 应用程序，但如果在一定时间内没有足够的资源可用，YARN 最终会超时。
您是否向 spark-shell 提供了覆盖默认设置的任何命令行选项？当我要求太多 executors/cores/memory YARN 会接受我的请求但永远不会转换为 运行 ApplicationMaster.
尝试 运行 一个没有选项的 spark-shell（也许 --master 纱线除外），看看它是否通过了接受。
意识到我在终端中杀死了几个流媒体作业，但我猜它们不知何故仍然 运行。我能够在显示 YARN 上所有 运行 应用程序的 UI 中找到这些（我也无法执行 Hive 查询）。一旦我使用下面的命令终止了作业，spark-shell 就会像往常一样启动。
yarn application -kill application_1428487296152_25597
我猜 YARN 没有足够的资源来完成 运行 个作业。
请检查 https://www.cloudera.com/documentation/enterprise/5-3-x/topics/cdh_ig_yarn_tuning.html 用于计算您可以为 YARN 提供多少资源。
请检查核心数和RAM数量，由以下变量控制：
yarn.nodemanager.resource.cpu-vcores
yarn.nodemanager.resource.memory-mb