使用 BeautifulSoup 获取不可见的网页信息
Get invisible web page info with BeautifulSoup
我正在尝试从网站“https://www.estimize.com/jpm/fq3-2016#chart=table”获取一些信息,更准确地说是所有个人估计,这些信息位于页面底部。但它只显示前 30 个,然后您应该手动按下按钮 "Show All" 以获取另外 30 个,依此类推。
到目前为止,这是我的代码:
from urllib import urlopen
from bs4 import BeautifulSoup
html = urlopen("https://www.estimize.com/jpm/fq3-2016#chart=table")
soup = BeautifulSoup(html.read(), "html.parser")
print(soup)
我看到打印代码有一部分:
"totalCount":142,"total_estimates_showing":30,"
是否可以更改此设置以打印所有估算值?
查看单击 "Show all" 按钮时发出的 ajax 请求,您应该解析 url:
直接获取所有结果
我正在尝试从网站“https://www.estimize.com/jpm/fq3-2016#chart=table”获取一些信息,更准确地说是所有个人估计,这些信息位于页面底部。但它只显示前 30 个,然后您应该手动按下按钮 "Show All" 以获取另外 30 个,依此类推。 到目前为止,这是我的代码:
from urllib import urlopen
from bs4 import BeautifulSoup
html = urlopen("https://www.estimize.com/jpm/fq3-2016#chart=table")
soup = BeautifulSoup(html.read(), "html.parser")
print(soup)
我看到打印代码有一部分:
"totalCount":142,"total_estimates_showing":30,"
是否可以更改此设置以打印所有估算值?
查看单击 "Show all" 按钮时发出的 ajax 请求,您应该解析 url:
直接获取所有结果