supervisor workers 停止超时不重启(used with laravel)

Supervisor workers stop overtime and do not restart (used with laravel)

我终于设法在使用此 tutorial 重新启动服务器的任何时候为 运行 提供监督服务,并且该部分工作得很好。我将其设置为 运行 有 10 个工人。问题是当我第二天检查时,其中一些工人已经停止并且没有重新启动。服务器也没有重新启动。

这是我的程序在 supervisord.conf 文件中的设置方式:

[program:laravel-worker]
process_name=%(program_name)s_%(process_num)02d
command= php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
directory=/home/magic/_app/_laravel
numprocs=10
redirect_stderr=true
autostart=true
autorestart=true
startsecs=0
startretries=10
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
stdout_logfile=/home/magic/_app/_laravel/storage/logs/supervisor/supervisor.log
stdout_logfile_maxbytes=50MB
stdout_logfile_backups=10
stdout_capture_maxbytes=0
stdout_events_enabled=false
user=magic
environment=PATH="/usr/local/bin"

我第一次使用 service supervisord start 启动服务,然后如果我使用 service supervisord status,它会显示下面的过程。我不完全理解它们,但它看起来不错,因为我的 artisan 命令有 10 个实例。

|-17991 /usr/bin/python /usr//bin/supervisord --pidfile /tmp/supervisord.pid
|-17992 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
|-17993 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
|-17994 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
|-17995 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
|-17996 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
|-17997 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
|-17998 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
|-17999 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
|-18000 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
|-18001 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
|-18002 /usr/local/bin/php artisan queue:work --queue=high,default --delay=0 --memory=128 --sleep=5 --tries=5 --env=production
|-18003 /usr/local/bin/php artisan queue:work --queue=high,default --delay=0 --memory=128 --sleep=5 --tries=5 --env=production
|-18004 /usr/local/bin/php artisan queue:work --queue=high,default --delay=0 --memory=128 --sleep=5 --tries=5 --env=production
|-18005 /usr/local/bin/php artisan queue:work --queue=high,default --delay=0 --memory=128 --sleep=5 --tries=5 --env=production
|-18006 /usr/local/bin/php artisan queue:work --queue=high,default --delay=0 --memory=128 --sleep=5 --tries=5 --env=production
|-18007 /usr/local/bin/php artisan queue:work --queue=high,default --delay=0 --memory=128 --sleep=5 --tries=5 --env=production
|-18008 /usr/local/bin/php artisan queue:work --queue=high,default --delay=0 --memory=128 --sleep=5 --tries=5 --env=production
|-18009 /usr/local/bin/php artisan queue:work --queue=high,default --delay=0 --memory=128 --sleep=5 --tries=5 --env=production
|-18010 /usr/local/bin/php artisan queue:work --queue=high,default --delay=0 --memory=128 --sleep=5 --tries=5 --env=production
`-18011 /usr/local/bin/php artisan queue:work --queue=high,default --delay=0 --memory=128 --sleep=5 --tries=5 --env=production

但过了一段时间,通常是第二天,我看到了这样的事情。而这次看起来只有 6 个进程正在 运行ning,所以其中 4 个已经停止。

|- 3984 /usr/bin/python /usr//bin/supervisord --pidfile /tmp/supervisord.pid
|- 3985 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
|- 3986 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
|- 3988 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
|- 3989 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
|-12224 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
|-13610 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
|-14263 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
|-16417 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
|-17424 /usr/local/bin/php artisan queue:work --queue=high,default --delay=0 --memory=128 --sleep=5 --tries=5 --env=production
|-17425 /usr/local/bin/php artisan queue:work --queue=high,default --delay=0 --memory=128 --sleep=5 --tries=5 --env=production
|-17427 /usr/local/bin/php artisan queue:work --queue=high,default --delay=0 --memory=128 --sleep=5 --tries=5 --env=production
|-17428 /usr/local/bin/php artisan queue:work --queue=high,default --delay=0 --memory=128 --sleep=5 --tries=5 --env=production
|-17429 /usr/local/bin/php artisan queue:work --queue=high,default --delay=0 --memory=128 --sleep=5 --tries=5 --env=production
|-17430 /usr/local/bin/php artisan queue:work --queue=high,default --delay=0 --memory=128 --sleep=5 --tries=5 --env=production
|-17856 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
`-18356 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600

supervisord 日志显示非常正常的内容。那里有几个 500 错误,我认为这可能是调查的线索,但它们与失踪工人的数量和时间戳不匹配。

laravel 日志本身有一些超出最大执行时间的错误,实际上它正好有 10 个是我上次清除日志时的错误。所以我不知道这是否是每个工人 1 个。它看起来像这样。同样,时间戳与主管日志并不真正匹配,因此很难知道这是否会导致它。我可以增加PHP允许的执行时间我只是不知道这是否会导致工作人员不重新启动。

[2016-04-14 02:56:20] production.ERROR: exception 'Symfony\Component\Debug\Exception\FatalErrorException' with message 'Maximum execution time of 30 seconds exceeded' in /home/magic/_app/_laravel/vendor/symfony/process/Symfony/Component/Process/Pipes/UnixPipes.php:130

如果有人有任何意见或建议,我将不胜感激。真的很想解决这个问题。

所以在修复 supervisorctl 正常工作后,现在当我做 supervisorctl status 时,它显示所有 10 个工人为 运行ning。但问题是他们没有运行执行他们应该执行的命令。

这是 supervisorctl status 现在显示的内容:

laravel-worker:laravel-worker_00   RUNNING   pid 11566, uptime 4:38:36
laravel-worker:laravel-worker_01   RUNNING   pid 18358, uptime 2 days, 18:40:16
laravel-worker:laravel-worker_02   RUNNING   pid 8102, uptime 1 day, 20:57:15
laravel-worker:laravel-worker_03   RUNNING   pid 10691, uptime 11:42:54
laravel-worker:laravel-worker_04   RUNNING   pid 32543, uptime 1 day, 22:07:53
laravel-worker:laravel-worker_05   RUNNING   pid 30215, uptime 20:40:02
laravel-worker:laravel-worker_06   RUNNING   pid 32732, uptime 1 day, 22:03:05
laravel-worker:laravel-worker_07   RUNNING   pid 24625, uptime 21:44:41
laravel-worker:laravel-worker_08   RUNNING   pid 19807, uptime 2:36:21
laravel-worker:laravel-worker_09   RUNNING   pid 32332, uptime 1 day, 3:07:34

下面是 service supervisord status 显示的内容。如您所见,它显示了 10 个工人以及这些工人正在执行的 3 个任务。但它应该是 10 个任务来匹配 10 个工人。所以看起来加班工人由于某种原因停止执行任务,即使他们仍然 运行ning:

* supervisord.service - SYSV: Supervisor Server
   Loaded: loaded (/etc/rc.d/init.d/supervisord)
   Active: active (running) since Thu 2016-04-21 16:44:43 EDT; 2 days ago
     Docs: man:systemd-sysv-generator(8)
   CGroup: /system.slice/supervisord.service
           |- 8102 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
           |-10691 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
           |-11566 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
           |-18356 /usr/bin/python /usr//bin/supervisord --pidfile /tmp/supervisord.pid
           |-18358 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
           |-19807 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
           |-24625 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
           |-28557 /usr/local/bin/php artisan queue:work --queue=high,default --delay=0 --memory=128 --sleep=5 --tries=5 --env=production
           |-28711 /usr/local/bin/php artisan queue:work --queue=high,default --delay=0 --memory=128 --sleep=5 --tries=5 --env=production
           |-28712 /usr/local/bin/php artisan queue:work --queue=high,default --delay=0 --memory=128 --sleep=5 --tries=5 --env=production
           |-30215 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
           |-32332 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
           |-32543 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600
           `-32732 php /home/magic/_app/_laravel/artisan queue:listen --queue=high,default --tries=5 --sleep=5 --timeout=600

Apr 21 16:44:43 host systemd[1]: Starting SYSV: Supervisor Server...
Apr 21 16:44:43 host supervisord[18351]: Starting supervisord: /usr/lib/python2.7/site-packages/supervisor-3.2.3-py2.7.egg/supervisor/option...
Apr 21 16:44:43 host supervisord[18351]: 'Supervisord is running as root and it is searching '
Apr 21 16:44:43 host supervisord[18351]: [17B blob data]
Apr 21 16:44:43 host systemd[1]: Started SYSV: Supervisor Server.

我想我可能已经解决了这个问题。这可能是由于在 supervisord.conf 文件的 command 属性中使用了不正确的 php 引起的。我将它从 php 更改为 /usr/local/bin/php,现在已经 运行 了 2 天,none 的任务不得不重新启动或停止处理队列。

如果我看到问题重复出现,我稍后会更新这个问题,但它似乎 运行 现在比以往任何时候都稳定得多。