有没有办法将同一个变量的多个值传递到 Hue 中的 Hive 作业中?
Is there a way to pass multiple values of the same variable into a Hive job in Hue?
我在 Hue 中有一个 Hive 查询,其中有一个输入变量,一个字符串(例如像“20160117”这样的日期)。
我想在 Hue 中执行此 Hive 查询并为该单个变量传递多个值。
可能吗?如果是,你们会怎么做?
Oozie 运行s 有向无环图 (DAG)。非循环归结为 没有循环,曾经 。但是当然有解决方法。
因此,如果您必须 运行 相同的 HQL 脚本 恰好 N 次 具有不同的参数值...
- 或者 copy/paste Hive Action N 次,在一个链中,具有不同的参数值 (又快又脏)
- 或仅使用 Hive 操作构建一个子工作流,并在链中使用不同的参数值调用它 N 次
另一方面,如果您必须动态地调整执行的数量和值,那么您必须在 Oozie 本身之外制定 "loop" 逻辑。 ..
- 例如,从创建一个空HQL文件的Shell动作开始,然后循环添加N个查询,然后将文件上传到HDFS;接下来,一个按原样执行 HQL 脚本的 Hive 操作 (又快又脏,但不适合异常处理)
- 或者开发一个Java程序,通过JDBC连接到HiveServer2,提交一个
PreparedStatement
带1个绑定变量,循环执行N次不同值的语句变量。
也许有一天,Hive 会支持某种类似于 PL/SQL、T-SQL、PgSQL 等过程语言,您将能够通过逗号分隔的值列表并在 Hive 内部处理它。
我在 Hue 中有一个 Hive 查询,其中有一个输入变量,一个字符串(例如像“20160117”这样的日期)。
我想在 Hue 中执行此 Hive 查询并为该单个变量传递多个值。
可能吗?如果是,你们会怎么做?
Oozie 运行s 有向无环图 (DAG)。非循环归结为 没有循环,曾经 。但是当然有解决方法。
因此,如果您必须 运行 相同的 HQL 脚本 恰好 N 次 具有不同的参数值...
- 或者 copy/paste Hive Action N 次,在一个链中,具有不同的参数值 (又快又脏)
- 或仅使用 Hive 操作构建一个子工作流,并在链中使用不同的参数值调用它 N 次
另一方面,如果您必须动态地调整执行的数量和值,那么您必须在 Oozie 本身之外制定 "loop" 逻辑。 ..
- 例如,从创建一个空HQL文件的Shell动作开始,然后循环添加N个查询,然后将文件上传到HDFS;接下来,一个按原样执行 HQL 脚本的 Hive 操作 (又快又脏,但不适合异常处理)
- 或者开发一个Java程序,通过JDBC连接到HiveServer2,提交一个
PreparedStatement
带1个绑定变量,循环执行N次不同值的语句变量。
也许有一天,Hive 会支持某种类似于 PL/SQL、T-SQL、PgSQL 等过程语言,您将能够通过逗号分隔的值列表并在 Hive 内部处理它。