使用 BeautifulSoup 获取不可见的网页信息

Get invisible web page info with BeautifulSoup

我正在尝试从网站“https://www.estimize.com/jpm/fq3-2016#chart=table”获取一些信息,更准确地说是所有个人估计,这些信息位于页面底部。但它只显示前 30 个,然后您应该手动按下按钮 "Show All" 以获取另外 30 个,依此类推。 到目前为止,这是我的代码:

from urllib import urlopen
from bs4 import BeautifulSoup
html = urlopen("https://www.estimize.com/jpm/fq3-2016#chart=table")
soup = BeautifulSoup(html.read(), "html.parser")
print(soup)

我看到打印代码有一部分:

"totalCount":142,"total_estimates_showing":30,"

是否可以更改此设置以打印所有估算值?

查看单击 "Show all" 按钮时发出的 ajax 请求,您应该解析 url:

"https://www.estimize.com/jpm/fq3-2016?sort=rank&direction=asc&estimates_per_page=142&show_confirm=false&selected_user=&_=1490697888459"

直接获取所有结果