使用代理时,Dryscrape 响应总是 returns 和 "Product unavailable"

Dryscrape response always returns with "Product unavailable" when using proxy

我试图使用 dryscrape 废弃基于 javascript 的网站,并且在不使用代理时获得了正确的内容。但它 returns "Product unavailable" 使用代理时。这是代码片段。

session = dryscrape.Session()
session.set_proxy('host=<ipaddress>', port=80, user='<username>', password='<password>')
session.visit(url)

请告诉我如何解决。

发现问题。实际上问题不在于代理。一切都很好,问题出在 headers。该问题可以通过设置请求 headers(User-Agent, Accept-Language 等).

来解决
set_header(key, value)

此方法在 Dryscrape session object.

中可用