如何在 python 中隐藏我的 IP 进行网络抓取？

Question

我正在使用 python 在某些页面中进行网络抓取，但我已被阻止访问其中一些页面。当我也尝试通过 TOR 浏览器检查它时，我发现我也无法访问这些页面，所以我认为这些页面已经能够跟踪我的所有 IP 或者我没有正确配置 TOR（我认为不是因为我已经用 Chrome 和 TOR 检查了我的 IP 地址并且不同），那么，有人知道为什么吗？

此外，我正在尝试在我的 python 代码中执行一个函数或方法来自动更改 mi IP。我所看到的是，最好的办法是通过 TOR 浏览器（将其用作搜索引擎以从页面获取数据），但我无法使其正常工作。您对创建此功能有什么建议吗？

谢谢！

Answer 1

我希望反抓取保护也能阻止来自已知 Tor 出口节点的访问。我认为他们不知道是你。一些网站 hire/implement 最先进的数据抓取保护服务。

您可以在朋友和家人处设置自己的代理，并使用非常保守的抓取速度，或者搜索商业住宅代理产品。