Google Composer 上的 Airflow 网络服务器 运行 在哪里?
Where is Airflow webserver running on Google Composer?
我关注pods:
NAME READY STATUS RESTARTS AGE
airflow-database-init-job-ggk95 0/1 Completed 0 3h
airflow-redis-0 1/1 Running 0 3h
airflow-scheduler-7594cd584-mlfrt 2/2 Running 9 3h
airflow-sqlproxy-74f64b8b97-csl8h 1/1 Running 0 3h
airflow-worker-5fcd4fffff-7w2sg 2/2 Running 0 3h
airflow-worker-5fcd4fffff-m44bs 2/2 Running 0 3h
airflow-worker-5fcd4fffff-mm55s 2/2 Running 0 3h
composer-agent-0034135a-3fed-49a6-b173-9d3f9d0569db-ktwwt 0/1 Completed 0 3h
composer-agent-0034135a-3fed-49a6-b173-9d3f9d0569db-nmjvw 0/1 Error 0 3h
composer-agent-d043348f-025a-4aa1-89b4-d4a5fae91653-8zdwk 0/1 Completed 0 3h
composer-fluentd-daemon-grwsp 1/1 Running 0 3h
composer-fluentd-daemon-rxhjc 1/1 Running 0 3h
composer-fluentd-daemon-xxrmr 1/1 Running 0 3h
我不知道其中哪些是网络服务器pods。 airflow-worker
可能不是网络服务器,对吧?我想戳它看看它是否正常工作,因为它似乎没有。
如有关 Cloud Composer's architecture 的文档中所述,Airflow 网络服务器 运行 在 App Engine 灵活环境中托管在 Google 管理的租户项目中,用户没有访问。
遗憾的是,网络服务器日志没有转发到 Composer 的主项目(即您的项目),尽管有 an open Feature Request in the Public Issue Tracker, so feel free to click on the star icon and comment on it in order to let the Composer engineering know about the importance of this feature and your use case too. Therefore, if you believe you have any other similar issue regarding the webserver itself, I recommend you to either contact support (if you are eligible to do so) or open an issue in the corresponding Public Issue Tracker 这样 GCP 支持团队可以调查您的问题。
如果您想了解有关 Airflow Webserver 的更多信息,您也可以在其 documentation page 中找到一些其他信息。
关于 Airflow Webserver 的日志 - 这些日志在 Stackdriver 日志记录中可见。
- 导航到 GCP 菜单 -> 日志记录 -> 日志查看器
如果您使用的是经典 Stackdriver UI,则 "resource" 下拉列表中的 select "Cloud Composer Environment" 然后 select "airflow-webserver" 在第二个下拉列表中,如 picture
所示
如果您使用的是新的 Stackdriver 菜单,请在查询框中输入以下查询:
query:resource.type="cloud_composer_environment"
logName="projects/<your project name>/logs/airflow-webserver"
...您将获得 airflow-webserver 生成的日志。
我关注pods:
NAME READY STATUS RESTARTS AGE
airflow-database-init-job-ggk95 0/1 Completed 0 3h
airflow-redis-0 1/1 Running 0 3h
airflow-scheduler-7594cd584-mlfrt 2/2 Running 9 3h
airflow-sqlproxy-74f64b8b97-csl8h 1/1 Running 0 3h
airflow-worker-5fcd4fffff-7w2sg 2/2 Running 0 3h
airflow-worker-5fcd4fffff-m44bs 2/2 Running 0 3h
airflow-worker-5fcd4fffff-mm55s 2/2 Running 0 3h
composer-agent-0034135a-3fed-49a6-b173-9d3f9d0569db-ktwwt 0/1 Completed 0 3h
composer-agent-0034135a-3fed-49a6-b173-9d3f9d0569db-nmjvw 0/1 Error 0 3h
composer-agent-d043348f-025a-4aa1-89b4-d4a5fae91653-8zdwk 0/1 Completed 0 3h
composer-fluentd-daemon-grwsp 1/1 Running 0 3h
composer-fluentd-daemon-rxhjc 1/1 Running 0 3h
composer-fluentd-daemon-xxrmr 1/1 Running 0 3h
我不知道其中哪些是网络服务器pods。 airflow-worker
可能不是网络服务器,对吧?我想戳它看看它是否正常工作,因为它似乎没有。
如有关 Cloud Composer's architecture 的文档中所述,Airflow 网络服务器 运行 在 App Engine 灵活环境中托管在 Google 管理的租户项目中,用户没有访问。
遗憾的是,网络服务器日志没有转发到 Composer 的主项目(即您的项目),尽管有 an open Feature Request in the Public Issue Tracker, so feel free to click on the star icon and comment on it in order to let the Composer engineering know about the importance of this feature and your use case too. Therefore, if you believe you have any other similar issue regarding the webserver itself, I recommend you to either contact support (if you are eligible to do so) or open an issue in the corresponding Public Issue Tracker 这样 GCP 支持团队可以调查您的问题。
如果您想了解有关 Airflow Webserver 的更多信息,您也可以在其 documentation page 中找到一些其他信息。
关于 Airflow Webserver 的日志 - 这些日志在 Stackdriver 日志记录中可见。
- 导航到 GCP 菜单 -> 日志记录 -> 日志查看器
如果您使用的是经典 Stackdriver UI,则 "resource" 下拉列表中的 select "Cloud Composer Environment" 然后 select "airflow-webserver" 在第二个下拉列表中,如 picture
所示
如果您使用的是新的 Stackdriver 菜单,请在查询框中输入以下查询:
query:resource.type="cloud_composer_environment"
logName="projects/<your project name>/logs/airflow-webserver"
...您将获得 airflow-webserver 生成的日志。