我们可以通过在 step_id 中传递 Jupyter 笔记本的路径来创建 Dataproc 工作流模板吗?
Can we create Dataproc Workflow Template by passing a path of Jupyter notebooks in step_id?
我一直在尝试创建 Dataproc 工作流模板来执行我的 Dataproc 集群上的 Jupyter 笔记本,但是当我实例化该模板时,作业失败,而如果我将我的笔记本下载为 .py
文件,然后将它们添加到工作流程模板。
我很好奇是否有任何方法可以创建一个可以直接将现有 Jupyter 笔记本作为其步骤的工作流模板。
Dataproc 尚不支持通过作业和工作流模板 API 直接执行 Jupyter 笔记本。
您可以通过编写并提交将使用 nbconvert
to execute a notebook.
的 PySpark job/Workflow 模板步骤来解决此问题
我一直在尝试创建 Dataproc 工作流模板来执行我的 Dataproc 集群上的 Jupyter 笔记本,但是当我实例化该模板时,作业失败,而如果我将我的笔记本下载为 .py
文件,然后将它们添加到工作流程模板。
我很好奇是否有任何方法可以创建一个可以直接将现有 Jupyter 笔记本作为其步骤的工作流模板。
Dataproc 尚不支持通过作业和工作流模板 API 直接执行 Jupyter 笔记本。
您可以通过编写并提交将使用 nbconvert
to execute a notebook.