啪。将数据导入基于日期的目录

Question

我正在编写一个 sqoop 命令，它将被转换为一个 sqoop 作业。但是我希望这项工作每天都创建一个新目录。因此，例如，当昨天导入作业 运行s 时，它应该创建目录路径 /2015/11/09，然后今天创建 /2015/11/10。

squoop 可以做到这一点吗？或者我应该每天生成 sqoop 命令 运行 并动态创建适当的目录结构？

Answer 1

实际上我找到了问题的答案。我们最终使用 Oozie 来安排我们的 Sqoop 命令。

我们可以从 Oozie 向 sqoop 传递参数，oozie 为我们提供了一种表达式语言，我们可以从中动态创建目标目录字符串。

我想最终无论使用哪种技术来安排作业，都会对构建 target-dir 参数负责。