如何使用 Python urllib 和 bs4 抓取 ajax 站点产品？

Question

我正在尝试使用 urllib + bs4 来抓取 naturebox 的网站。

我想创建一个投票网络应用程序，这样我的办公室就可以每个月为来自 naturebox 的新零食投票。

理想情况下，我想从 naturebox 的网站上提取零食，因为它们经常变化。

这是我的代码：

 import urllib2,cookielib

site = 'http://www.naturebox.com/browse/'
hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
       'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
       'Accept-Encoding': 'none',
       'Accept-Language': 'en-US,en;q=0.8',
       'Connection': 'keep-alive'}

req = urllib2.Request(site, headers=hdr)

try:
    page = urllib2.urlopen(req)
except urllib2.HTTPError, e:
    print e.fp.read()

content = page.read()
print content

但输出只是 javascript 和 none 实际零食的数据（图片、名称、描述等）

显然我是菜鸟 - 我怎样才能得到这些数据？

Answer 1

您可以使用 Selenium Webdriver。这将允许您加载站点，包括 javascript/ajax，并从那里访问 html。另外，尝试使用 PhantomJS 以便它可以运行在后台隐形。

如何使用 Python urllib 和 bs4 抓取 ajax 站点产品？

How can I scrape ajax site products with Python urllib & bs4?

python

web-scraping

beautifulsoup

urllib2