气流远程日志记录不起作用

Question

我有一个运行 Apache - Airflow 1.8.1 实例。

我有一个工作连接（及其 ID）可以写入 Google 云存储，我的 airflow 用户有权写入存储桶。

我尝试通过添加

来使用远程日志存储功能

remote_base_log_folder = 'gs://my-bucket/log'

remote_log_conn_id = 'my_working_conn_id'

仅此而已（除此之外我没有触及任何配置）

我重新启动了所有服务，但日志没有上传到 gcs（我的存储桶仍然是空的）并且我的文件系统 space 仍在减少。

您是否成功启用了gcs远程日志？如果是，你改变/做了什么？

Answer 1

我设法将远程日志获取到 GCS。首先，您需要授予服务帐户写入 GCS 存储桶的权限。

这是我的 GCP 连接设置：

然后，编辑 airflow.cfg 文件：

remote_base_log_folder = gs://my-backup/airflow_logs
remote_log_conn_id = my_gcp_conn

修改配置文件后，需要重新初始化：

airflow initdb

# start the web server, default port is 8080
airflow webserver -p 8080

通过打开 "tutorial" DAG 进行测试，您应该能够在 GCS 中看到本地和远程的日志：

Airflow Remote logging not working