如何自动化 Hive 查询
How to automate Hive query
我创建了一个配置单元查询脚本，主要用于交叉销售项目的功能创建和评分。大多数查询都是进行数据清理、转换等的简单查询。我想自动执行此过程，以便我可以从 hive table 作为输入开始，并将最终结果输出到 Hbase 文件中。我的问题是：
最好的方法是什么？
我可以简单地从 shell 使用 hive -f filename.sql
创建 filename.sql 或 filename.hql 和 运行 它吗
SQL 的 Hive 中有类似 PL 的东西吗？
您可以通过多种方式进行。
就像您也可以使用 Hive CLI 一样，它可以非常轻松地完成此类工作。
您可以在 Linux 中编写 shell 脚本或在 Windows.
中编写 .bat
在脚本中，您可以像下面的条目一样简单。
$HIVE_HOME/bin/hive -e 'select a.col from tab1 a';
或者如果您有文件：
$HIVE_HOME/bin/hive -f /home/my/hive-script.sql
确保您已在环境中设置 $HIVE_HOME。
测试并正常工作后，您可以放入 cronjob 进行调度。
重要的是要注意，如果您使用任何一种技术，您的每个查询都必须用分号分隔，即
hive -e 'select * from tableA limit 10;select * from tableB limit 10'
我创建了一个配置单元查询脚本，主要用于交叉销售项目的功能创建和评分。大多数查询都是进行数据清理、转换等的简单查询。我想自动执行此过程，以便我可以从 hive table 作为输入开始，并将最终结果输出到 Hbase 文件中。我的问题是：
最好的方法是什么？
我可以简单地从 shell 使用 hive -f filename.sql
filename.sql 或 filename.hql 和 运行 它吗
SQL 的 Hive 中有类似 PL 的东西吗？
您可以通过多种方式进行。 就像您也可以使用 Hive CLI 一样，它可以非常轻松地完成此类工作。 您可以在 Linux 中编写 shell 脚本或在 Windows.
中编写 .bat在脚本中，您可以像下面的条目一样简单。
$HIVE_HOME/bin/hive -e 'select a.col from tab1 a';
或者如果您有文件：
$HIVE_HOME/bin/hive -f /home/my/hive-script.sql
确保您已在环境中设置 $HIVE_HOME。 测试并正常工作后，您可以放入 cronjob 进行调度。
重要的是要注意，如果您使用任何一种技术，您的每个查询都必须用分号分隔，即
hive -e 'select * from tableA limit 10;select * from tableB limit 10'