php扩展"PCNTL"是否适合网络蜘蛛?
php extension "PCNTL" is suitable for a web spider?
最近想写一个web spider,所以找了一些关于web spider的项目写在PHP.
在那些项目中,我发现扩展 "PCNTL" 被频繁使用,但我找不到任何关于它的详细教程或手册。
所以我想知道扩展名"PCNTL"是否真的适合网络蜘蛛?如果没有,有什么选择。
"PCNTL" 是具有类 C 进程相关函数的扩展,最值得注意的是 fork
.
我不确定是否有好的教程,但您可以查看 C / C++ 示例以了解如何使用这些 PHP 函数。
几年前我们做网络爬虫。我们使用了一个 shell 脚本来代替 fork
,它并行启动了 100 个爬虫实例。
另一种选择是 curl-multi
,但同样没有足够的信息和教程。我们试过了,发现它不是很可靠,但我相信你应该检查一下。
另一种选择是在 Python 中进行 - 有几个不同的程序库提供了很多可能性。
最近想写一个web spider,所以找了一些关于web spider的项目写在PHP.
在那些项目中,我发现扩展 "PCNTL" 被频繁使用,但我找不到任何关于它的详细教程或手册。
所以我想知道扩展名"PCNTL"是否真的适合网络蜘蛛?如果没有,有什么选择。
"PCNTL" 是具有类 C 进程相关函数的扩展,最值得注意的是 fork
.
我不确定是否有好的教程,但您可以查看 C / C++ 示例以了解如何使用这些 PHP 函数。
几年前我们做网络爬虫。我们使用了一个 shell 脚本来代替 fork
,它并行启动了 100 个爬虫实例。
另一种选择是 curl-multi
,但同样没有足够的信息和教程。我们试过了,发现它不是很可靠,但我相信你应该检查一下。
另一种选择是在 Python 中进行 - 有几个不同的程序库提供了很多可能性。