在 Ubuntu 上将 Scrapy 与 VPN 结合使用

Using Scrapy with VPN on Ubuntu

所以我正在使用 Scrapy 来抓取一些网站,我想增加我在互联网上的隐私并避免被禁止所以我读到我可以通过使用像 http://www.ninjasproxy.com/ or http://hidemyass.com/ 或 VPN 这样的高级代理列表来实现这一点或 Tor。

根据我的理解,付费 VPN 会是一个不错的选择,就像 http://hidemyass.com/ 提供的那样,但我似乎找不到任何实际显示 Scrapy 与 hidemyass 等 VPN 集成的代码。

我只看到了 https://github.com/aivarsk/scrapy-proxies 这样的示例,它展示了如何使用代理列表。

如何让 Scrapy 使用 VPN?如果我不能,代理列表是否足以保持匿名?

VPN 是在系统范围内工作的东西,而不是代理选定流量的东西。您所有的互联网流量、浏览器、种子、聊天等都将通过 VPN 路由,因此只需连接到 VPN 和 运行 脚本。