从 Google Cloud Composer DAG 克隆存储库

Cloning a repository from Google Cloud Composer DAG

如何从云源存储库克隆并将代码从 Google Cloud Composer 推送到另一个 GCP 项目中的存储库?

我使用 gcloud 命令将代码克隆到 Composer Cloud Storage 存储桶中并收到以下错误:

Cloning into '/home/airflow/gcsfuse/data/source_code'...

error: RPC failed; result=56, HTTP code = 200

fatal: The remote end hung up unexpectedly

fatal: early EOF

fatal: index-pack failed

错误原因描述here

这可以在 Composer 环境中完成吗?

您确定您环境的服务帐户可以访问该存储库吗?此外,如果您在 PythonOperator 中执行此操作并在同一步骤中推送,您可能需要克隆到 /tmp,因为看起来您不需要在路径上安装 GCS。