通过主管关闭 Docker 个容器
Shutting down Docker containers via supervisor
我无法关闭主管通过 supervisorctl stop all 启动的 Docker 个容器。即使 supervisorctl status 显示容器已关闭，docker ps 和 ps 表明它们实际上仍然是 运行.
查阅有关 supervisorctl stop <name> 操作的主管文档显示 SIGTERM 被发送到进程，如果在一些宽限期后仍然 运行，则随后是 SIGKILL。我尝试手动执行此操作并发现
SIGTERM 发送到 docker run 进程不执行任何操作SIGKILL 确实终止了进程，但实际上并没有更新 docker。 docker ps 显示这个容器仍然是 运行- 主管的
SIGKILL 没有关闭容器
问题是：如何通过主管正确关闭 Docker 容器？
这是我模拟主管的实验结果：
起始位置：foo-1 和 bar-1 是 运行（我把 GCE 容器留在里面，以防它们有所不同）。 ps aux 和 docker ps 同步。
me@devenv:~$ sudo docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
5ba70bf8937f me/app:foo "/bin/sh -c 'supervi 5 minutes ago Up 5 minutes foo-1
e1a684bcfceb me/app:bar "/bin/sh -c 'supervi 5 minutes ago Up 5 minutes bar-1
fce5db0517df google/cadvisor:0.8.0 "/usr/bin/cadvisor" 35 minutes ago Up 35 minutes bbbb
db677eed47ef kubernetes/pause:go "/pause" 35 minutes ago Up 35 minutes 0.0.0.0:4194->8080/tcp aaaa
me@devenv:~$ ps aux | grep "docker run"
root 23358 0.0 0.1 124092 11856 pts/0 Sl 02:05 0:00 docker run --rm --name foo-1 ... -i me/app:foo
root 23365 0.0 0.1 124092 11928 pts/0 Sl 02:05 0:00 docker run --rm --name bar-1 ... -i me/app:bar
通过向进程发送 SIGTERM 来模拟 supervisorctl stop foo-1。结果：进程仍然活跃。
me@devenv:~$ sudo kill -SIGTERM 23358
... <waiting> ...
me@devenv:~$ ps aux | grep "docker run"
root 23358 0.0 0.1 124092 11856 pts/0 Sl 02:05 0:00 docker run --rm --name foo-1 ... -i me/app:foo
root 23365 0.0 0.1 124092 11928 pts/0 Sl 02:05 0:00 docker run --rm --name bar-1 ... -i me/app:bar
me@devenv:~$ sudo docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
5ba70bf8937f me/app:foo "/bin/sh -c 'supervi 6 minutes ago Up 6 minutes foo-1
e1a684bcfceb me/app:bar "/bin/sh -c 'supervi 6 minutes ago Up 6 minutes bar-1
fce5db0517df google/cadvisor:0.8.0 "/usr/bin/cadvisor" 36 minutes ago Up 36 minutes bbbb
db677eed47ef kubernetes/pause:go "/pause" 36 minutes ago Up 36 minutes 0.0.0.0:4194->8080/tcp aaaa
主管接下来要做的是发布 SIGKILL。结果：进程被终止 (ps aux)，但仍显示为 运行 docker 进程 (docker ps).
me@devenv:~$ sudo kill -SIGKILL 23358
me@devenv:~$ ps aux | grep "docker run"
root 23365 0.0 0.1 124092 11928 pts/0 Sl 02:05 0:00 docker run --rm --name bar-1 ... -i me/app:bar
me@devenv:~$ sudo docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
5ba70bf8937f me/app:foo "/bin/sh -c 'supervi 19 minutes ago Up 19 minutes foo-1
e1a684bcfceb me/app:bar "/bin/sh -c 'supervi 19 minutes ago Up 19 minutes bar-1
fce5db0517df google/cadvisor:0.8.0 "/usr/bin/cadvisor" 49 minutes ago Up 49 minutes bbbb
db677eed47ef kubernetes/pause:go "/pause" 49 minutes ago Up 49 minutes 0.0.0.0:4194->8080/tcp aaaa
Supervisor 在上述实验中被关闭（以避免其自动启动行为干扰）。 supervisor无法实现显式发送SIGKILL到进程的结果；该过程仍然存在（即使主管记录其他状态）。
docker stop <container_id> 但是确实停止了容器。
更新
在 Docker 容器内还有一个 supervisord 进程 运行 管理某些进程。也许问题是信号没有传播，因此它不会关闭...
更新 2
我缩小了问题范围。我能够直接从 Dockerfile 启动容器进程，而不是通过启动 supervisord 来启动，这很重要。我可以通过主管（docker 容器之外的主管控制容器）来控制这个容器。
更新 3
按照建议设置 stopasgroup=true here 对我来说没有任何改变。
更新 4
我解决了其中一个问题：supervisorctl 无法关闭进程。问题是我在主管配置文件中使用 command=sudo docker run... 启动 docker 容器，这创建了一个 sudo docker run... 和一个 docker run... 进程。 supervisorctl stop... 刚刚终止了 sudo docker run... 进程，而实际的 docker 进程仍在 运行。当我省略 sudo 命令时，每个主管程序仅启动 1 个进程，supervisorctl stop 终止进程。
仍然存在一个问题，即 docker ps 显示容器仍然是 运行 而 ps aux 不是。奇怪的是，容器在响应请求时似乎仍然处于活动状态。快速查看进程列表可确认 docker 容器生成的所有进程仍处于活动状态，但进程列表中缺少 docker run... 进程。
更新 5
发送 SIGTERM、SIGHUP 或 SIGQUIT 到 docker run 进程似乎对该进程没有任何作用。只有 SIGKILL 正确终止 docker 进程。 Supervisor 已正确更新，但 docker ps 仍显示 docker 进程 运行.
我想我找到了问题所在。我没有意识到，但是在启动 docker 容器时有多种启动程序的方法。
显然 CMD myexec param1 param2 启动了一个 shell，后者又启动了 myexec（事实上，这两个进程在 PID 为 /bin/sh -c myexec... 的容器中可见。一个更好的方法是直接启动程序（在我的例子中是 supervisord）。
另一方面，CMD ["/usr/bin/python", "/usr/local/bin/supervisord", "-c", "/root/supervisord.conf", "--nodaemon"] 工作正常。我现在可以通过主管启动和停止 docker 容器。
Here's docker 文档中的相关部分：
The CMD instruction has three forms:
CMD ["executable","param1","param2"] (exec form, this is the preferred form)
CMD ["param1","param2"] (as default parameters to ENTRYPOINT)
CMD command param1 param2 (shell form)
更新
示例主管文件（在 Docker 容器内）：
[program:app]
command=python run_web_server.py
stdout_logfile=/var/log/app/app.log
directory=/opt/app
autostart=true
autorestart=false
stopsignal=INT
redirect_stderr=true
startretries=0
stopasgroup=true
killasgroup=true
[unix_http_server]
file=/var/run/supervisor.sock
chmod=0700
[supervisord]
logfile=/var/log/supervisor/supervisord.log
pidfile=/var/run/supervisord.pid
childlogdir=/var/log/supervisor
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
[supervisorctl]
serverurl=unix:///var/run/supervisor.sock
用于生成 Docker（外部）主管文件的 mako 模板：
[program:container]
command=docker run --rm --name ${name} \
% if container_links is not UNDEFINED:
% for host in container_hosts:
--add-host ${host['name']}:${host['ip']} \
% endfor
% endif
% if container_links is not UNDEFINED:
% for link in container_links:
--link ${link}:${link} \
% endfor
% endif
% if port_mappings is not UNDEFINED:
% for ext in port_mappings:
-p ${ext}:${port_mappings[ext]} \
% endfor
% endif
-e "INSTANCE_NAME=${name}" \
-e "TZ=${timezone}" \
% if environ is not UNDEFINED:
% for k in environ:
-e "${k}=${environ[k]}" \
% endfor
% endif
-v ${deployment_dir}/tmp:${deployment_dir}/app/tmp \
... more -v
-i foo/app-${version}:${type}
stdout_logfile=${deployment_dir}/log/${name}.log
redirect_stderr=true
autostart=false
autorestart=false
% if priority is not UNDEFINED:
priority=${priority}
% endif
startretries=0
# stopasgroup=true
# killasgroup=true
我无法关闭主管通过 supervisorctl stop all 启动的 Docker 个容器。即使 supervisorctl status 显示容器已关闭，docker ps 和 ps 表明它们实际上仍然是 运行.
查阅有关 supervisorctl stop <name> 操作的主管文档显示 SIGTERM 被发送到进程，如果在一些宽限期后仍然 运行，则随后是 SIGKILL。我尝试手动执行此操作并发现
SIGTERM发送到docker run进程不执行任何操作SIGKILL确实终止了进程，但实际上并没有更新 docker。docker ps显示这个容器仍然是 运行- 主管的
SIGKILL没有关闭容器
问题是：如何通过主管正确关闭 Docker 容器？
这是我模拟主管的实验结果：
起始位置：foo-1 和 bar-1 是 运行（我把 GCE 容器留在里面，以防它们有所不同）。 ps aux 和 docker ps 同步。
me@devenv:~$ sudo docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
5ba70bf8937f me/app:foo "/bin/sh -c 'supervi 5 minutes ago Up 5 minutes foo-1
e1a684bcfceb me/app:bar "/bin/sh -c 'supervi 5 minutes ago Up 5 minutes bar-1
fce5db0517df google/cadvisor:0.8.0 "/usr/bin/cadvisor" 35 minutes ago Up 35 minutes bbbb
db677eed47ef kubernetes/pause:go "/pause" 35 minutes ago Up 35 minutes 0.0.0.0:4194->8080/tcp aaaa
me@devenv:~$ ps aux | grep "docker run"
root 23358 0.0 0.1 124092 11856 pts/0 Sl 02:05 0:00 docker run --rm --name foo-1 ... -i me/app:foo
root 23365 0.0 0.1 124092 11928 pts/0 Sl 02:05 0:00 docker run --rm --name bar-1 ... -i me/app:bar
通过向进程发送 SIGTERM 来模拟 supervisorctl stop foo-1。结果：进程仍然活跃。
me@devenv:~$ sudo kill -SIGTERM 23358
... <waiting> ...
me@devenv:~$ ps aux | grep "docker run"
root 23358 0.0 0.1 124092 11856 pts/0 Sl 02:05 0:00 docker run --rm --name foo-1 ... -i me/app:foo
root 23365 0.0 0.1 124092 11928 pts/0 Sl 02:05 0:00 docker run --rm --name bar-1 ... -i me/app:bar
me@devenv:~$ sudo docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
5ba70bf8937f me/app:foo "/bin/sh -c 'supervi 6 minutes ago Up 6 minutes foo-1
e1a684bcfceb me/app:bar "/bin/sh -c 'supervi 6 minutes ago Up 6 minutes bar-1
fce5db0517df google/cadvisor:0.8.0 "/usr/bin/cadvisor" 36 minutes ago Up 36 minutes bbbb
db677eed47ef kubernetes/pause:go "/pause" 36 minutes ago Up 36 minutes 0.0.0.0:4194->8080/tcp aaaa
主管接下来要做的是发布 SIGKILL。结果：进程被终止 (ps aux)，但仍显示为 运行 docker 进程 (docker ps).
me@devenv:~$ sudo kill -SIGKILL 23358
me@devenv:~$ ps aux | grep "docker run"
root 23365 0.0 0.1 124092 11928 pts/0 Sl 02:05 0:00 docker run --rm --name bar-1 ... -i me/app:bar
me@devenv:~$ sudo docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
5ba70bf8937f me/app:foo "/bin/sh -c 'supervi 19 minutes ago Up 19 minutes foo-1
e1a684bcfceb me/app:bar "/bin/sh -c 'supervi 19 minutes ago Up 19 minutes bar-1
fce5db0517df google/cadvisor:0.8.0 "/usr/bin/cadvisor" 49 minutes ago Up 49 minutes bbbb
db677eed47ef kubernetes/pause:go "/pause" 49 minutes ago Up 49 minutes 0.0.0.0:4194->8080/tcp aaaa
Supervisor 在上述实验中被关闭（以避免其自动启动行为干扰）。 supervisor无法实现显式发送SIGKILL到进程的结果；该过程仍然存在（即使主管记录其他状态）。
docker stop <container_id> 但是确实停止了容器。
更新
在 Docker 容器内还有一个 supervisord 进程 运行 管理某些进程。也许问题是信号没有传播，因此它不会关闭...
更新 2
我缩小了问题范围。我能够直接从 Dockerfile 启动容器进程，而不是通过启动 supervisord 来启动，这很重要。我可以通过主管（docker 容器之外的主管控制容器）来控制这个容器。
更新 3
按照建议设置 stopasgroup=true here 对我来说没有任何改变。
更新 4
我解决了其中一个问题：supervisorctl 无法关闭进程。问题是我在主管配置文件中使用 command=sudo docker run... 启动 docker 容器，这创建了一个 sudo docker run... 和一个 docker run... 进程。 supervisorctl stop... 刚刚终止了 sudo docker run... 进程，而实际的 docker 进程仍在 运行。当我省略 sudo 命令时，每个主管程序仅启动 1 个进程，supervisorctl stop 终止进程。
仍然存在一个问题，即 docker ps 显示容器仍然是 运行 而 ps aux 不是。奇怪的是，容器在响应请求时似乎仍然处于活动状态。快速查看进程列表可确认 docker 容器生成的所有进程仍处于活动状态，但进程列表中缺少 docker run... 进程。
更新 5
发送 SIGTERM、SIGHUP 或 SIGQUIT 到 docker run 进程似乎对该进程没有任何作用。只有 SIGKILL 正确终止 docker 进程。 Supervisor 已正确更新，但 docker ps 仍显示 docker 进程 运行.
我想我找到了问题所在。我没有意识到，但是在启动 docker 容器时有多种启动程序的方法。
显然 CMD myexec param1 param2 启动了一个 shell，后者又启动了 myexec（事实上，这两个进程在 PID 为 /bin/sh -c myexec... 的容器中可见。一个更好的方法是直接启动程序（在我的例子中是 supervisord）。
另一方面，CMD ["/usr/bin/python", "/usr/local/bin/supervisord", "-c", "/root/supervisord.conf", "--nodaemon"] 工作正常。我现在可以通过主管启动和停止 docker 容器。
Here's docker 文档中的相关部分：
The CMD instruction has three forms:
CMD ["executable","param1","param2"](exec form, this is the preferred form)
CMD ["param1","param2"](as default parameters to ENTRYPOINT)
CMD command param1 param2(shell form)
更新
示例主管文件（在 Docker 容器内）：
[program:app]
command=python run_web_server.py
stdout_logfile=/var/log/app/app.log
directory=/opt/app
autostart=true
autorestart=false
stopsignal=INT
redirect_stderr=true
startretries=0
stopasgroup=true
killasgroup=true
[unix_http_server]
file=/var/run/supervisor.sock
chmod=0700
[supervisord]
logfile=/var/log/supervisor/supervisord.log
pidfile=/var/run/supervisord.pid
childlogdir=/var/log/supervisor
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
[supervisorctl]
serverurl=unix:///var/run/supervisor.sock
用于生成 Docker（外部）主管文件的 mako 模板：
[program:container]
command=docker run --rm --name ${name} \
% if container_links is not UNDEFINED:
% for host in container_hosts:
--add-host ${host['name']}:${host['ip']} \
% endfor
% endif
% if container_links is not UNDEFINED:
% for link in container_links:
--link ${link}:${link} \
% endfor
% endif
% if port_mappings is not UNDEFINED:
% for ext in port_mappings:
-p ${ext}:${port_mappings[ext]} \
% endfor
% endif
-e "INSTANCE_NAME=${name}" \
-e "TZ=${timezone}" \
% if environ is not UNDEFINED:
% for k in environ:
-e "${k}=${environ[k]}" \
% endfor
% endif
-v ${deployment_dir}/tmp:${deployment_dir}/app/tmp \
... more -v
-i foo/app-${version}:${type}
stdout_logfile=${deployment_dir}/log/${name}.log
redirect_stderr=true
autostart=false
autorestart=false
% if priority is not UNDEFINED:
priority=${priority}
% endif
startretries=0
# stopasgroup=true
# killasgroup=true