使用 Python 中的 Selenium 从 "Result-Page" 中提取结果
Extracting Results from "Result-Page" With Selenium in Python
不幸的是,我的 Python 程序的实现有点问题。在某一时刻,我不能再进一步了。该程序应执行以下操作:
- 在搜索引擎上执行特定关键字的自动搜索 "www.startpage.com"。
- 然后应该读出包含结果的页面(这就是问题所在)。
- 程序现在应该计算某个词出现在搜索结果页面上的频率。
这里的问题是我无法从搜索结果页面获取源代码。我只得到起始页的源代码 有谁知道解决办法吗?
提前致谢。
到目前为止,我的程序如下所示:
import selenium.webdriver as webdriver
def get_results(search_term):
#this is the site, where I want to do the search
url="https://www.startpage.com"
browser = webdriver.Firefox()
browser.get(url)
search_box = browser.find_element_by_id("q")
#search in the search box after the search term
search_box.send_keys(search_term)
search_box.submit()
#print(browser.page_source) would give the result of the startpage (not the result page)
sub="dog"
print(source_code.count("dog"))
#counts zero times because it searchs for "dog" at the startpage
get_results("dog")
你可以这样做:只要做一个循环,在这个循环中你总是向列表添加一个元素(例如,可以是数字或字母)当这找到术语。
为此,您必须将源代码保存在一个变量中,然后只需在其中搜索术语。找到后,您只需使用 .append()
向列表中添加一个数字,然后在最后使用 len(list)
.
检查列表的长度
不幸的是,我的 Python 程序的实现有点问题。在某一时刻,我不能再进一步了。该程序应执行以下操作:
- 在搜索引擎上执行特定关键字的自动搜索 "www.startpage.com"。
- 然后应该读出包含结果的页面(这就是问题所在)。
- 程序现在应该计算某个词出现在搜索结果页面上的频率。
这里的问题是我无法从搜索结果页面获取源代码。我只得到起始页的源代码 有谁知道解决办法吗?
提前致谢。
到目前为止,我的程序如下所示:
import selenium.webdriver as webdriver
def get_results(search_term):
#this is the site, where I want to do the search
url="https://www.startpage.com"
browser = webdriver.Firefox()
browser.get(url)
search_box = browser.find_element_by_id("q")
#search in the search box after the search term
search_box.send_keys(search_term)
search_box.submit()
#print(browser.page_source) would give the result of the startpage (not the result page)
sub="dog"
print(source_code.count("dog"))
#counts zero times because it searchs for "dog" at the startpage
get_results("dog")
你可以这样做:只要做一个循环,在这个循环中你总是向列表添加一个元素(例如,可以是数字或字母)当这找到术语。
为此,您必须将源代码保存在一个变量中,然后只需在其中搜索术语。找到后,您只需使用 .append()
向列表中添加一个数字,然后在最后使用 len(list)
.