php扩展"PCNTL"是否适合网络蜘蛛?

php extension "PCNTL" is suitable for a web spider?

最近想写一个web spider,所以找了一些关于web spider的项目写在PHP.

在那些项目中,我发现扩展 "PCNTL" 被频繁使用,但我找不到任何关于它的详细教程或手册。

所以我想知道扩展名"PCNTL"是否真的适合网络蜘蛛?如果没有,有什么选择。

"PCNTL" 是具有类 C 进程相关函数的扩展,最值得注意的是 fork.

我不确定是否有好的教程,但您可以查看 C / C++ 示例以了解如何使用这些 PHP 函数。

几年前我们做网络爬虫。我们使用了一个 shell 脚本来代替 fork,它并行启动了 100 个爬虫实例。

另一种选择是 curl-multi,但同样没有足够的信息和教程。我们试过了,发现它不是很可靠,但我相信你应该检查一下。

另一种选择是在 Python 中进行 - 有几个不同的程序库提供了很多可能性。