是否可以在同一个Scrapy蜘蛛中为不同的请求设置不同的设置？
Is it possible to set different settings for different request in the same Scrapy spider?
我只想对 Scrapy 蜘蛛中的某些请求使用 Crawlera。所以我想针对不同的请求设置不同的CRAWLERA_ENABLED。可能吗？
对于不想使用 Crawlera 的那些请求，您可以在 meta 中使用 dont_proxy 键。例如
# Supposing you have crawlera enabled in `settings.py`
yield scrapy.Request(
url,
meta={"dont_proxy": True},
callback=self.parse
)
我只想对 Scrapy 蜘蛛中的某些请求使用 Crawlera。所以我想针对不同的请求设置不同的CRAWLERA_ENABLED。可能吗？
对于不想使用 Crawlera 的那些请求，您可以在 meta 中使用 dont_proxy 键。例如
# Supposing you have crawlera enabled in `settings.py`
yield scrapy.Request(
url,
meta={"dont_proxy": True},
callback=self.parse
)