Python: 与 urlopen 的结果不一致

Question

我正在使用 urllib2 中的 urlopen 函数，每次阅读同一页时我都会得到不同的结果。代码：

import urllib2
for i in range(5):
    response = urllib2.urlopen('http://wlstorage.net/file/freddy-balzan-emails-2005-2008/')
    html = response.read()
    print len(html), 'first chars:', html[:10] ,'last chars:', html[-10:]

输出：

zvi@zvi-S400CA:~/workspace/crawler$ python mini_test.py 
14259 first chars: <!-- MHonA last chars: E1;n</em> 
15707 first chars: <!-- MHonA last chars: 5, 2008)<b
43219 first chars: <!-- MHonA last chars: ="07081" h
37427 first chars: <!-- MHonA last chars: 01.html">F
43219 first chars: <!-- MHonA last chars: ="07081" h

是什么原因造成的？我该如何解决才能获得整个页面而不是其中的一小部分？

Answer 1

尝试使用 requests 模块

>>> import requests
>>> response = requests.get('http://wlstorage.net/file/freddy-balzan-emails-2005-2008/')
>>> len(response.text)
68361

Python: 与 urlopen 的结果不一致

Python: Inconsistent results with urlopen

html

python

urllib2

web-crawler