如何在 dryscrape python 中设置 socks5 代理?

How to set socks5 proxy in dryscrape python?

我想通过 tor 抓取一些网站。

Tor works 使用 socks 代理。 我使用 dryscrape(python 中的库),因为它也执行 javascripts。

但是我dryscrape只能有http代理。

是否有一些解决方法可以为 dryscrape 或任何其他方式设置 socks5 代理?

谢谢。

我设法使用 polipo. It can be installed on ubuntu from here 做到了。

Polipo 可以使用 socks 协议和 http 协议。 Polipo 可以配置为通过 http 代理接收请求并通过 socks5 代理转发相同的请求。

我用它作为前端代理服务器来dryscrape,作为后端tor代理服务器。

所以,现在我设置了dryscrape的http代理127.0.0.1(机器ip)和端口号。 8118(polipo 的默认端口号)。 现在,Polipo 通过 socks5 代理将相同的请求转发给 tor。

所以,现在我可以使用 dryscrape 通过 socks5 代理进行请求了。

here 中有更详细的解释。 ;)