hive 应用程序显示 运行 即使在从命令行终止后也是如此

hive application shows running even after killing from command line

我 运行 在相当大的数据集上进行配置单元查询,查询花费了太多时间,所以我决定终止应用程序:

    yarn kill -application-id

现在,当我使用 CLI 检查时:

    yarn application -list 

那么上面提到的应用程序不会出现在列表中。

但是,当我从 ambari 登录到 Tez 视图时,应用程序显示仍处于 运行ning 状态(自创建它以来已经差不多 24 小时了)。

我尝试再次从命令行终止它,但它说应用程序已经完成。

我还检查了资源管理器 UI,该作业的状态显示它已被终止。

因此,每当我尝试 运行 任何新的蜂巢作业时,它都在排队,我无法 运行 任何其他作业。

请帮忙!

TEZ VIEW 是应用程序时间线服务器信息的导出。如果使用 yarn kill,hive 不会正确通知 YARN Application Timeline Server 查询已终止。因此,您仍然会在 tez 视图中将它们视为 运行ning,因为 ATS 从未收到任何更新表明它进入了 stopped/failed 状态。如果您无法 运行 新的配置单元作业,这与已终止的应用程序在 tez 视图中仍显示为 运行ning 这一事实无关,您应该单独进行故障排除。您描述的错误纯粹是装饰性的,记录在以下位置:

所以我发现清除队列以便我可以 运行 其他查询的方法是转到 /hadoop/yarn/timeline,备份文件并重新启动 YARN。 TEZ 队列已清除,我可以再次从配置单元视图开始 运行 查询。

不过,我应该提一下,这将清除所有查询(对于所有用户)。