如何在 Crawlera 中配置来自法国的 IP 地址?
How to configure IP address form France in Crawlera?
我在我的 Scrapy-Selenium 爬虫中使用 Crawlera。
但我只需要使用来自 法国 的 IP。
如何配置我的 crawlera 来执行此操作。
custom_settings = {
'DOWNLOADER_MIDDLEWARES' : {'scrapy_crawlera.CrawleraMiddleware': 600},
'CRAWLERA_ENABLED' : True,
'CRAWLERA_APIKEY' : //my appikey,
'DOWNLOAD_DELAY' : 0,
'COOKIES_ENABLED' : True,
}
您必须转到 http://app.scrapinghub.com 上的 Crawlera 仪表板并创建一个单独的用户,将 'fr' 设置为区域。然后,您在蜘蛛程序中使用新的 API 键。
我在我的 Scrapy-Selenium 爬虫中使用 Crawlera。
但我只需要使用来自 法国 的 IP。
如何配置我的 crawlera 来执行此操作。
custom_settings = {
'DOWNLOADER_MIDDLEWARES' : {'scrapy_crawlera.CrawleraMiddleware': 600},
'CRAWLERA_ENABLED' : True,
'CRAWLERA_APIKEY' : //my appikey,
'DOWNLOAD_DELAY' : 0,
'COOKIES_ENABLED' : True,
}
您必须转到 http://app.scrapinghub.com 上的 Crawlera 仪表板并创建一个单独的用户,将 'fr' 设置为区域。然后,您在蜘蛛程序中使用新的 API 键。