您如何通过 Google Cloud Composer 安排 GCP AI Platform 笔记本？

How do you schedule GCP AI Platform notebooks via Google Cloud Composer?

我的任务是通过 Papermill 操作员自动安排 AI Platform 笔记本上一些每天 运行 的笔记本，但实际上通过 Cloud Composer 执行此操作给我带来了一些麻烦。

感谢任何帮助！

第一步是创建 Jupyter Lab Notebook。如果你想使用额外的库，安装它们并重新启动内核（Restart Kernel and Clear All Outputs 选项）。然后，在你的笔记本中定义处理。

准备就绪后，在开始计划阶段之前删除所有运行、查看和试运行。

现在，您需要设置 Cloud Composer 环境（请记住安装您在第一步中定义的其他包）。要安排工作流程，请转到 Jupyter 实验室并创建第二个笔记本，该笔记本从工作流程生成 DAG。

最后一步是将压缩的工作流上传到 Cloud Composer DAGs 文件夹。您可以使用 Airflow UI.

管理您的工作流程

我建议你看看这个article。

您可以使用的另一个解决方案是 Kubeflow，它旨在在 Kubernetes 上创建 运行 ML 工作负载。 Kubeflow 向您的集群添加一些资源以协助完成各种任务，包括训练和服务模型以及 运行 Jupyter 笔记本。您可以在 codelabs.

上找到有趣的教程

希望以上信息对您有用。

Medium 上的这个 blog post“如何在 Google 云平台上部署和安排 Jupyter 笔记本”，描述了如何 运行 计算引擎实例上的 Jupyter 笔记本作业和安排它使用 GCP 的 Cloud Scheduler > Cloud Pub/Sub > Cloud Functions。 （不幸的是，post 可能是付费墙。）

如果您必须使用 Cloud Composer，那么您可能会发现 this answer to related question、“由 Jupyter Notebooks 和 Papermill 辅助的 Airflow 中的 ETL”很有用。