运行 Yarn 上的火花直线

Question

我正在使用直线执行 hql 查询。 该作业似乎没有出现在 HDP 2.6 上 Spark History 服务器的资源管理器中。 如何在 Yarn 上实现 运行？

谢谢

Answer 1

Beeline 是一个 Apache Hive 客户端，与 Spark 无关，因此您不会在 Spark 历史服务器中看到查询。不过，查询在 YARN 中应该是 运行，如果你去 YARN 资源管理器 Web UI（如果你可以访问 Ambari，应该在快速链接下）你会在那里看到它们。