美丽的汤没有找到所有的标签

Question

我正在尝试从 Google 学者那里获取特定个人资料的引用次数。我使用 python 和 BeautifulSoup.

这些元素在 table 引用索引 中。我使用的代码 returns 只有九个元素，而当您单击图表时，有更多具有相同标签的元素。

有什么问题？

from urllib import urlopen
from bs4 import BeautifulSoup
from lista_url import*
url='https://scholar.google.gr/citations?user=aFYdVoYAAAAJ&hl=el'#profile-   scholar
webpage=urlopen(url)
soup=BeautifulSoup(webpage)
for t in soup.findAll('span',{"class":"gsc_g_al"}):
        a=t.text
        print a

Answer 1

您似乎要查找的较大引用 table 是使用 JavaScript（AJAX 请求）异步加载的。您必须在自己的代码中执行此操作。

AJAX请求的URL只是添加了一个view_op=citations_histogram参数：

url='https://scholar.google.gr/citations?user=aFYdVoYAAAAJ&hl=el&view_op=citations_histogram'

这会产生 24 个条目：

>>> url='https://scholar.google.gr/citations?user=aFYdVoYAAAAJ&hl=el&view_op=citations_histogram'
>>> webpage=urlopen(url)
>>> soup=BeautifulSoup(webpage)
>>> len(soup.find_all('span', class_='gsc_g_al'))
24
>>> [el.string for el in soup.find_all('span', class_='gsc_g_al')]
[u'2', u'5', u'1', u'4', u'9', u'6', u'2', u'2', u'2', u'7', u'23', u'15', u'21', u'12', u'26', u'20', u'38', u'32', u'6', u'38', u'38', u'39', u'87', u'10']
>>> [el.string for el in soup.find_all('span', class_='gsc_g_t')]
[u'1992', u'1993', u'1994', u'1995', u'1996', u'1997', u'1998', u'1999', u'2000', u'2001', u'2002', u'2003', u'2004', u'2005', u'2006', u'2007', u'2008', u'2009', u'2010', u'2011', u'2012', u'2013', u'2014', u'2015']

美丽的汤没有找到所有的标签

beautiful soup doesn't find all the tags

python

beautifulsoup

google-scholar