Luigi 运行 可以远程 Hadoop 作业吗？

Question

如果 Luigi 图中的任务之一需要 运行 在远程 Hadoop 集群上，这可能吗？ Luigi 运行s所在的机器与Hadoop集群不同。 luigi 是否还能检查远程集群中的 HDFS 文件是否存在？

我试图找到这方面的文档，但找不到。

Answer 1

您可以 运行 启动任何脚本的作业。

HDFS 目标文档在这里：

https://luigi.readthedocs.io/en/stable/api/luigi.contrib.hdfs.html

https://luigi.readthedocs.io/en/stable/api/luigi.contrib.hdfs.target.html