如何结束 Spark Submit 和 State Accepted
How to end Spark Submit and State Accepted
我正在 运行 使用 apache griffin 进行数据清理工作：https://griffin.apache.org/docs/quickstart.html
并在提交 spark 作业后
spark-submit --class org.apache.griffin.measure.Application --master yarn --deploy-mode client --queue default \
--driver-memory 1g --executor-memory 1g --num-executors 2 \
/home/bigdata/apache-hive-2.2.0-bin/measure-0.4.0.jar \
/home/bigdata/apache-hive-2.2.0-bin/env.json /home/bigdata/apache-hive-2.2.0-bin/dq.json
我的作业提交如下：
20/04/08 13:18:30 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受）
20/04/08 13:18:31 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受）
2008 年 4 月 13:18:32 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受）
20/04/08 13:18:33 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受）
20/04/08 13:18:34 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受）
20/04/08 13:18:35 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受）
20/04/08 13:18:36 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受）
20/04/08 13:18:37 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受）
20/04/08 13:18:38 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受）
20/04/08 13:18:39 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受）
20/04/08 13:18:40 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受）
永不止步：
并且当我检查纱线的状态时：
bigdata@dq2:~$纱线应用-状态application_1586344612496_0231
20/04/08 13:16:31 信息 client.RMProxy：正在 /0.0.0.0:8032 连接到 ResourceManager
申请报告：
应用程序 ID：application_1586344612496_0231
应用程序名称：batch_accu
应用类型：SPARK
用户：大数据
队列：默认
开始时间：1586348775760
完成时间：0
进度：0%
状态：已接受
最终状态：未定义
跟踪-URL : N/A
RPC 端口：-1
主持人：N/A
聚合资源分配：0 MB 秒，0 vcore 秒
诊断：
工作没有进展任何人都可以帮忙....
根据我的经验，导致此问题的原因可能有很多，但您应该首先进行以下检查：
- 您的防火墙可能阻止了 Hadoop 集群内节点之间的某些端口，因此计算永远不会启动。尝试暂时禁用私有接口的防火墙，然后再次尝试排除此问题（如果是这个问题，请重新激活防火墙并确定您需要打开的端口！）
- Spark 可能配置不正确（即资源要求）
我正在 运行 使用 apache griffin 进行数据清理工作：https://griffin.apache.org/docs/quickstart.html
并在提交 spark 作业后
spark-submit --class org.apache.griffin.measure.Application --master yarn --deploy-mode client --queue default \ --driver-memory 1g --executor-memory 1g --num-executors 2 \ /home/bigdata/apache-hive-2.2.0-bin/measure-0.4.0.jar \ /home/bigdata/apache-hive-2.2.0-bin/env.json /home/bigdata/apache-hive-2.2.0-bin/dq.json
我的作业提交如下：
20/04/08 13:18:30 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受） 20/04/08 13:18:31 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受） 2008 年 4 月 13:18:32 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受） 20/04/08 13:18:33 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受） 20/04/08 13:18:34 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受） 20/04/08 13:18:35 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受） 20/04/08 13:18:36 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受） 20/04/08 13:18:37 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受） 20/04/08 13:18:38 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受） 20/04/08 13:18:39 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受） 20/04/08 13:18:40 信息 yarn.Client：application_1586344612496_0247 的申请报告（状态：已接受）
永不止步：
并且当我检查纱线的状态时：
bigdata@dq2:~$纱线应用-状态application_1586344612496_0231 20/04/08 13:16:31 信息 client.RMProxy：正在 /0.0.0.0:8032 连接到 ResourceManager 申请报告： 应用程序 ID：application_1586344612496_0231 应用程序名称：batch_accu 应用类型：SPARK 用户：大数据 队列：默认 开始时间：1586348775760 完成时间：0 进度：0% 状态：已接受 最终状态：未定义 跟踪-URL : N/A RPC 端口：-1 主持人：N/A 聚合资源分配：0 MB 秒，0 vcore 秒 诊断：
工作没有进展任何人都可以帮忙....
根据我的经验，导致此问题的原因可能有很多，但您应该首先进行以下检查：
- 您的防火墙可能阻止了 Hadoop 集群内节点之间的某些端口，因此计算永远不会启动。尝试暂时禁用私有接口的防火墙，然后再次尝试排除此问题（如果是这个问题，请重新激活防火墙并确定您需要打开的端口！）
- Spark 可能配置不正确（即资源要求）