有什么方法可以将 hadoop 管道作业添加到 GCP 中的工作流
Is there any way to add a hadoop pipe job to workflow in GCP
我正在尝试将 hadoop 管道作业添加到 GCP 中的工作流模板，但在任何地方都没有给出这样的示例。 google 的官方文档指定了如何提交 hadoop 作业，但是没有这样的参数可用于提交 hadoop 管道作业。
不，Dataproc Jobs API 和 Dataproc Workflows 不直接支持 Hadoop Pipes，并且没有计划在不久的将来添加对 Hadoop Pipes 的支持。
如果可以通过指定 Hadoop Pipes main class 使用 hadoop jar 命令而不是 hadoop pipes 运行 Hadoop Pipes 作业，那么您可以使用常规 Hadoop Dataproc Job到运行它。
我正在尝试将 hadoop 管道作业添加到 GCP 中的工作流模板，但在任何地方都没有给出这样的示例。 google 的官方文档指定了如何提交 hadoop 作业，但是没有这样的参数可用于提交 hadoop 管道作业。
不，Dataproc Jobs API 和 Dataproc Workflows 不直接支持 Hadoop Pipes，并且没有计划在不久的将来添加对 Hadoop Pipes 的支持。
如果可以通过指定 Hadoop Pipes main class 使用 hadoop jar 命令而不是 hadoop pipes 运行 Hadoop Pipes 作业，那么您可以使用常规 Hadoop Dataproc Job到运行它。