Oozie 解决方案执行查询并从 sql & Hive 获取结果

Question

我正在尝试使用 oozie 解决以下问题。非常感谢任何有关解决方案的建议。

背景：我开发了一个代码，使用（oozie - Sqoop 导入）从 SQL 数据库导入数据，并进行了一些转换并将数据加载到 Hive。现在我需要在 SQL 和 Hive 之间进行计数检查以进行协调

有什么方法可以使用 oozie 来做到这一点。

我正在考虑使用 "sqoop eval" 执行 sql 查询并使用 oozie 中的 "hive action" 执行配置单元查询，但我想知道我们如何才能将结果返回给 oozie / 捕获查询执行后的结果。

获得结果后，我需要在后续行动中进行核对

Answer 1

我通过执行 sqoop eval 和 Hive Dataframe 计数，使用 py-spark 操作实现了它。它工作正常。