分支 PHP 进程中的连接错误

Question

我有一个 PHP 脚本 从 MongoDB 获取 N 个文档，将进程分叉为 K 个子 PHP 进程，每个进程对每个文档做一些事情并尝试更新文档的信息（参见下面的代码）。

在我的本地环境中 (Docker) 一切都很好，但在服务器上（没有 Docker 那里）有时在循环期间会发生奇怪的事情...

随机所有分叉进程无法连接到 MongoDB。 updateOne 命令returns 出错：

"Failed to send "update" command with database "databasename": Invalid reply from server. in /vendor/mongodb/mongodb/src/Operation/Update.php on line 158".

这仅在一次（或多次）随机循环迭代中同时发生在所有进程中。当每个进程进入另一个迭代（获取下一个文档）时——一切又都正常了。我尝试了 5 次写入 MongoDB。

每次尝试都比上一次延迟+1秒，所以第一次尝试立即进行，如果捕获到任何异常——稍等一下再试，下一次尝试将在 2 秒内进行，依此类推。但这并没有用，这5次尝试都失败了。

这不是 mongoDB 问题，它的日志是空的，甚至在发生错误时它甚至没有收到来自 PHP 的任何信息。

我也承认，我运行同时处理的进程越多 -- 发生错误的频率就越高。

也不是服务器资源问题，当发生错误时，一半 RAM (4 gig) 是空闲的，CPU 正在使用一半的电量。

也许PHP对此有一些配置？一些内存限制或其他...

我使用 PHP v 7.1.30 MongoDB v 3.2.16 PHP 包 mongodb/mongodb v 1.1.2

<?php

$processesAmount = 5;
$documents = $this->mongoResource->getDocuments();

for ($processNumber = 0; $processNumber < $processesAmount; $processNumber++) {
    // create child process
    $pid = pcntl_fork();

    // do not create new processes in child processes
    if ($pid === 0) {
        break;
    }

    if ($pid === -1) {
       // some errors catching staff here...
    }
    else if ($pid === 0) {
        // create new MongoDB connection
    }
    else { 
        // Protect against Zombie children
        // main process waits before all child processes end
        for ($i = 0; $i < $processesAmount; $i++) {
            pcntl_wait($status);
        }
        return null;
    }

    // spread documents to each process without duplicates
    for ($i = $processNumber; $i < count($documents); $i += $processesAmount) {
        $newDocumentData = $this->doSomeStaffWithDocument($documents[$i]);
        $this->mongoResource->updateDocument($documents[$i], $newDocumentData);
    }
}

Answer 1

这里可能有很多问题，一个是所有进程共享一个数据库连接，第一个连接然后断开连接并终止所有连接。在此处查看文档中的第二个示例：https://www.php.net/manual/en/ref.pcntl.php

如果这没有帮助，我阅读您的代码的方式 "spreading" 部分在每个进程中都发生了，而它应该发生一次。你不应该像下面那样把 "work" 放在子部分吗？

$processesAmount = 5;
$documents = $this->mongoResource->getDocuments();
$numDocs = count($documents);
$i = 0;
$children = [];

    for ($processNumber = 0; $processNumber < $processesAmount; $processNumber++) {
        // create child
        $pid = pcntl_fork();

        if ($pid === -1) {
           // some errors catching staff here...
        } else if ($pid) {
            //parent
            $children[] = $pid;
        } else { 
            //child
           while (!empty($documents) && $i <= $numDocs) {
               $i += $processNumber;
               $doc = $documents[$i] ?? null;
               unset($documents[$i]);
               $newDocumentData = $this->doSomeStaffWithDocument($doc);
               $this->mongoResource->updateDocument($doc, $newDocumentData);
           }
        }
    }

    //protect against zombies and wait for parent
    //children is always empty unless in parent
    while (!empty($children)) {  

        foreach ($children as $key => $pid) {

            $status = null;

            $res = pcntl_waitpid($pid, $status, WNOHANG);

            if ($res == -1 || $res > 0) {   //if the process has already exited
                unset($children[$key]);
            }

        }

    }

}

分支 PHP 进程中的连接错误

Connection errors in forked PHP processes

php

mongodb

pcntl