Python3：http.client 并且 privoxy/TOR 提出了错误的请求

Question

我正在尝试将 TOR 与 http.client.HTTPConnection 一起使用，但出于某种原因，我总是收到来自所有内容的奇怪响应。我不太确定到底该如何解释，所以这里有一个例子：

class Socket(http.client.HTTPConnection):
    def __init__(self, url):
        super().__init__('127.0.0.1', 8118)
        super().set_tunnel(url)
        #super().__init__(url)

    def get(self, url = '/', params = {}):
        params = util.params_to_query(params)
        if params:
            if url.find('?') == -1: url += '?' + params
            else: url += '&' + params

        self.request(
             'GET',
             url,
             '',
             {'Connection': 'Keep alive'}
        )
        return self.getresponse().read().decode('utf-8')

如果我运行这与：

sock = Socket('www.google.com')
print(sock.get())

我得到：

<html><head><meta content="text/html;charset=utf-8" http-equiv="content-type"/>
<title>301 Moved</title></head><body>
<h1>301 Moved</h1>
The document has moved
<a href="http://www.google.com:8118/">here</a>.
</body></html>

Google 将我重定向到我刚刚请求的 url，除了 privoxy 端口。它变得更奇怪 - 如果我尝试 https://check.torproject.org:

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 3.2//EN">
<html>
<head>
<title>Welcome to sergii!</title>
</head>
<body>
<h1>Welcome to sergii!</h1>

This is sergii, a system run by and for the <a href="http://www.torproject.org/">Tor Project</a>.
She does stuff.
What kind of stuff and who our kind sponsors are you might learn on
<a href="http://db.torproject.org/machines.cgi?host=sergii">db.torproject.org</a>.

<p>
</p><hr noshade=""/>
<font size="-1">torproject-admin</font>
</body>
</html>

如果我不尝试使用 privoxy/TOR，我得到的正是您的浏览器在 http://www.google.com or http://check.torproject.org 得到的结果。我不知道这里发生了什么。我怀疑问题出在 python 上，因为我可以在 firefox 上使用 TOR，但我真的不知道。

Privoxy 日志读取：

2015-06-27 19:28:26.950 7f58f4ff9700 Request: www.google.com:80/
2015-06-27 19:30:40.360 7f58f4ff9700 Request: check.torproject.org:80/

TOR 日志没什么好说的。

Answer 1

这最终是因为我正在连接 http://，而那些网站需要 https://。对于接受正常 http://.

的站点，它确实可以正常工作

Python3：http.client 并且 privoxy/TOR 提出了错误的请求

Python3: http.client with privoxy/TOR making bad requests

python

python-3.x

tor

http.client