文件作为 Oozie 工作流中的 spark 操作的命令行参数

Question

如何将文件作为命令行参数传递给 Oozie 工作流中的 spark 作业？我的 spark 作业需要一个文件作为命令行参数，但是当我在工作流中将该文件作为 /file/location 传递时，它没有获取该文件。

Answer 1

我有一个解决方法，如果我们将文件放在 ozzie 共享库的自定义目录中，并在 job.properties

中进行一些额外更改

• oozie.use.system.libpath=true
• oozie.action.sharelib.for.spark=spark,custom-directory
• oozie.libpath=true

然后我们需要使用以下命令更新共享库：

oozie admin -auth SIMPLE -sharelibupdate

之后我们可以在oozie工作流中使用我们放在custom-directory中的文件名直接获取文件。