如何停止多线程或如何在 Scrapy 中一个一个地发出请求？
How to stop Multithreading or How to give request one by one in Scrapy?
我尝试抓取该格式的产品数据。
1) 添加购物车
2) 查看购物车
3) 移除购物车
对于单色产品，它工作得很好，但对于多色产品，Scrapy 采用多线程，所以上述过程并不是对每个产品都是按顺序进行的。
我希望 scrapy 请求如下：
1)
产品 A - 加入购物车
产品 A - 查看购物车
产品 A - 移除购物车
2)
产品 B - 添加购物车
产品 B - 查看购物车
产品 B - 移除购物车
3)
产品 C - 添加购物车
产品 C - 查看购物车
产品 C - 移除购物车
我也用过(priority while callback)，但没有成功。协助将不胜感激。提前致谢。
您可以将 CONCURRENT_REQUESTS 设置设为 1。
如documentation所述：
CONCURRENT_REQUESTS
Default: 16
The maximum number of concurrent (ie. simultaneous) requests that will be performed by the Scrapy downloader.
我尝试抓取该格式的产品数据。 1) 添加购物车 2) 查看购物车 3) 移除购物车
对于单色产品，它工作得很好，但对于多色产品，Scrapy 采用多线程，所以上述过程并不是对每个产品都是按顺序进行的。
我希望 scrapy 请求如下：
1) 产品 A - 加入购物车 产品 A - 查看购物车 产品 A - 移除购物车
2) 产品 B - 添加购物车 产品 B - 查看购物车 产品 B - 移除购物车
3) 产品 C - 添加购物车 产品 C - 查看购物车 产品 C - 移除购物车
我也用过(priority while callback)，但没有成功。协助将不胜感激。提前致谢。
您可以将 CONCURRENT_REQUESTS 设置设为 1。
如documentation所述：
CONCURRENT_REQUESTS
Default: 16
The maximum number of concurrent (ie. simultaneous) requests that will be performed by the Scrapy downloader.