如何在我的代理中设置国家/地区限制?
How can I set a country limit in my proxy?
我使用 Scrapy 进行网页抓取,使用 Polipo 作为代理,使用 Tor 作为网络。
我知道我的代理生成轮换 IP,但 IP 位置大部分时间都在我的国家/地区之外。在我抓取的网站上,考虑到 IP 的位置,它可能会有一些阻塞。
那么,如何保持轮换IP的规则,限制IP使用的位置呢?
Scrapy 版本:1.5.0,Python 版本:2.7.9,Tor 版本:0.3.4.8,Vidalia:0.2.21
你很可能知道这一点,但你正在抓取的网站的最终 ip 将看到出口节点的 ip。这样你就可以控制出口节点的国家using configuration
您可以 运行 在您的请求集中设置多个 Tor 并混合搭配或轮换 Tor 服务。
我使用 Scrapy 进行网页抓取,使用 Polipo 作为代理,使用 Tor 作为网络。 我知道我的代理生成轮换 IP,但 IP 位置大部分时间都在我的国家/地区之外。在我抓取的网站上,考虑到 IP 的位置,它可能会有一些阻塞。 那么,如何保持轮换IP的规则,限制IP使用的位置呢?
Scrapy 版本:1.5.0,Python 版本:2.7.9,Tor 版本:0.3.4.8,Vidalia:0.2.21
你很可能知道这一点,但你正在抓取的网站的最终 ip 将看到出口节点的 ip。这样你就可以控制出口节点的国家using configuration
您可以 运行 在您的请求集中设置多个 Tor 并混合搭配或轮换 Tor 服务。