如何从 php 并行执行 scrapy？

Question

我在数组中有 90 urls

[url1,url2,url3,  ... , url90]

我想让3个蜘蛛同时工作，然后给每个蜘蛛传1个url，所以，我的第一个Scrapy实例得到url1，第二个获得url2，第三个获得url3，当第一个完成他的工作时，他将获得url4.

我用过GNU Parallel，但如果有更好的软件我会用。

我在 php 试过这个，因为我应该从 PHP

启动我的 scrapy

exec (for url in urlsTab | parallel -j 3 scrapy crawl mySpider -a url {}) 

Answer 1

你可能想要这样的东西（未经测试）：

$parallel = popen("parallel -j 3 scrapy crawl mySpider","w");
foreach($urlsTab as $url) {
    fwrite($parallel,$url+"\n");
}
close $parallel;