气流和 Docker 容器

Question

我是 运行 容器 AWS ECS 中的气流、1 个调度程序、2 个 Web 服务器和多个 celery worker。

据我所知，当 运行 它们在容器中时，唯一受到影响的是 Web 服务器无法访问 worker 的 8793 端口以检索 worker 的日志。

当 运行 这些在容器中时，那是唯一受影响的东西吗？

Answer 1

是的，因为您只能将一个端口从 docker 容器映射到主机实例。我使用类似的设置，日志是我遇到的唯一主要问题。虽然有不同的方法来解决这个问题。您在容器上使用其他日志记录服务，将日志推送到 Cloudwatch 或 FLuentdb 等。