使用 Airflow 从本地系统将文件上传到 Google 存储桶 - Python

Question

所以我运行让这个操作员使用气流

from airflow.contrib.operators.file_to_gcs import FileToGoogleCloudStorageOperator

gcp_operator = \
    FileToGoogleCloudStorageOperator(
        task_id='gcp_task',
        src='/Users/john/Documents/tmp',
        dst='gs://constantine-bucket',
        bucket='constantine-bucket',
        google_cloud_storage_conn_id='DataScience',
        mime_type='Folder',
        dag=dag
    )

当我运行这样做时，我得到一个错误

"error": "invalid_scope",
"error_description": "\u0026quot;https://www.googleapis.com/auth/devstorage.read_write\u0026quot; is not a valid audience string

有没有人知道如何运行 airflow 上的这个运算符？

Answer 1

听起来像是缺少依赖项。您应该能够使用以下方式安装 GCP 挂钩和运算符：

pip install apache-airflow[gcp_api]

有关详细信息，请参阅此页面：https://airflow.apache.org/installation.html

使用 Airflow 从本地系统将文件上传到 Google 存储桶 - Python

Uploading a file to Google Bucket from local system using Airflow - Python

python

google-cloud-storage

google-cloud-datastore

google-cloud-platform

airflow