运行 亚马逊 ECS (Fargate) 中的 dask 调度程序和工作程序
Run dask scheduler and workers in Amazon's ECS (Fargate)
我尝试 运行 Amazon 的 ECS 上的调度程序和工作程序 docker 容器。
我正在使用这个例子：
https://docs.dask.org/en/latest/setup/docker.html
调度程序完美运行，我从本地计算机成功连接到它：
distributed.scheduler - INFO - Remove client Client-0ae5b0fa
distributed.scheduler - INFO - Close client connection: Client-0ae5b0fa
distributed.scheduler - INFO - Remove client Client-0ae5b0fa
distributed.core - INFO - Starting established connection
distributed.scheduler - INFO - Receive client connection: Client-0ae5b0fa
我尝试以同样的方式 运行 工人，使用这个命令：
dask-worker tcp://SCHEDULER_PUBLIC_IP:8786
工作人员正在写入这些日志并退出：
+ exec 'dask-worker tcp://SCHEDULER_PUBLIC_IP:8786'
/usr/bin/prepare.sh: line 30: /dask-worker tcp://SCHEDULER_PUBLIC_IP:8786: No such file or directory
+ '[' '' ']'
no environment.yml
+ '[' -e /opt/app/environment.yml ']'
+ echo 'no environment.yml'
+ '[' '' ']'
+ '[' '' ']'
我希望工作人员连接到调度程序，因为当我在 EC2 实例上尝试时，相同的命令起作用了。此外，我尝试在所有端口都打开到 tcp 连接的情况下执行此操作，但仍然没有。
环境：
- Dask docker 容器版本：6bfa3b19b4be（2021 年 8 月 1 日）（最新）
- Fargate 版本：1.4.0（最新）
- 容器有 2 个 vCPU，4 Gb 内存
问题是我的命令不是逗号分隔的。它是：
dask-worker 1.1.1.1:8786
应该是：
dask-worker,1.1.1.1:8786
为了 docker 理解这些不同的论点：
Command ["dask-worker","1.1.1.1:8786"]
我尝试 运行 Amazon 的 ECS 上的调度程序和工作程序 docker 容器。 我正在使用这个例子： https://docs.dask.org/en/latest/setup/docker.html
调度程序完美运行，我从本地计算机成功连接到它：
distributed.scheduler - INFO - Remove client Client-0ae5b0fa
distributed.scheduler - INFO - Close client connection: Client-0ae5b0fa
distributed.scheduler - INFO - Remove client Client-0ae5b0fa
distributed.core - INFO - Starting established connection
distributed.scheduler - INFO - Receive client connection: Client-0ae5b0fa
我尝试以同样的方式 运行 工人，使用这个命令：
dask-worker tcp://SCHEDULER_PUBLIC_IP:8786
工作人员正在写入这些日志并退出：
+ exec 'dask-worker tcp://SCHEDULER_PUBLIC_IP:8786'
/usr/bin/prepare.sh: line 30: /dask-worker tcp://SCHEDULER_PUBLIC_IP:8786: No such file or directory
+ '[' '' ']'
no environment.yml
+ '[' -e /opt/app/environment.yml ']'
+ echo 'no environment.yml'
+ '[' '' ']'
+ '[' '' ']'
我希望工作人员连接到调度程序，因为当我在 EC2 实例上尝试时，相同的命令起作用了。此外，我尝试在所有端口都打开到 tcp 连接的情况下执行此操作，但仍然没有。
环境：
- Dask docker 容器版本：6bfa3b19b4be（2021 年 8 月 1 日）（最新）
- Fargate 版本：1.4.0（最新）
- 容器有 2 个 vCPU，4 Gb 内存
问题是我的命令不是逗号分隔的。它是：
dask-worker 1.1.1.1:8786
应该是：
dask-worker,1.1.1.1:8786
为了 docker 理解这些不同的论点：
Command ["dask-worker","1.1.1.1:8786"]