我们可以通过在 step_id 中传递 Jupyter 笔记本的路径来创建 Dataproc 工作流模板吗?

Can we create Dataproc Workflow Template by passing a path of Jupyter notebooks in step_id?

我一直在尝试创建 Dataproc 工作流模板来执行我的 Dataproc 集群上的 Jupyter 笔记本,但是当我实例化该模板时,作业失败,而如果我将我的笔记本下载为 .py 文件,然后将它们添加到工作流程模板。

我很好奇是否有任何方法可以创建一个可以直接将现有 Jupyter 笔记本作为其步骤的工作流模板。

Dataproc 尚不支持通过作业和工作流模板 API 直接执行 Jupyter 笔记本。

您可以通过编写并提交将使用 nbconvert to execute a notebook.

的 PySpark job/Workflow 模板步骤来解决此问题