使用 urllib (python3) 打开 url 挂起

Question

我尝试用 python3 打开 url:

import urllib.request
fp = urllib.request.urlopen("http://lebed.com/")

mybytes = fp.read()    
mystr = mybytes.decode("utf8")
fp.close()

print(mystr)

但它挂在第二行。出现此问题的原因是什么以及如何解决？

Answer 1

我想原因是url不支持robot visiting a site visit。您需要通过发送浏览器 headers 以及您的请求

来伪造浏览器访问

import urllib.request
url = "http://lebed.com/"
req = urllib.request.Request(
    url, 
    data=None, 
    headers={
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
    }
)
f = urllib.request.urlopen(req)

在我的系统上试过这个，它有效。

Answer 2

同意 Arpit Solanki 的观点。失败请求与成功请求的显示输出。

Failed
    GET / HTTP/1.1
    Accept-Encoding: identity
    Host: www.lebed.com
    Connection: close
    User-Agent: Python-urllib/3.5

Success
    GET / HTTP/1.1
    Accept-Encoding: identity
    Host: www.lebed.com
    Connection: close
    User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36

使用 urllib (python3) 打开 url 挂起

hangs on open url with urllib (python3)

python-3.x

urllib