使用 Python 中的 Selenium 从 "Result-Page" 中提取结果

Extracting Results from "Result-Page" With Selenium in Python

不幸的是,我的 Python 程序的实现有点问题。在某一时刻,我不能再进一步了。该程序应执行以下操作:

  1. 在搜索引擎上执行特定关键字的自动搜索 "www.startpage.com"。
  2. 然后应该读出包含结果的页面(这就是问题所在)。
  3. 程序现在应该计算某个词出现在搜索结果页面上的频率。

这里的问题是我无法从搜索结果页面获取源代码。我只得到起始页的源代码 有谁知道解决办法吗?

提前致谢。

到目前为止,我的程序如下所示:

import selenium.webdriver as webdriver

def get_results(search_term):

    #this is the site, where I want to do the search
    url="https://www.startpage.com"
    browser = webdriver.Firefox()
    browser.get(url)

    search_box = browser.find_element_by_id("q")
    #search in the search box after the search term
    search_box.send_keys(search_term)
    search_box.submit()

    #print(browser.page_source) would give the result of the startpage (not the result page)

    sub="dog"
    print(source_code.count("dog"))
    #counts zero times because it searchs for "dog" at the startpage

get_results("dog")

你可以这样做:只要做一个循环,在这个循环中你总是向列表添加一个元素(例如,可以是数字或字母)当这找到术语。

为此,您必须将源代码保存在一个变量中,然后只需在其中搜索术语。找到后,您只需使用 .append() 向列表中添加一个数字,然后在最后使用 len(list).

检查列表的长度