Headless chrome with selenium，只能想办法滚动非headless

Question

关于这个主题有很多东西可以找到，但无法弄清楚。我需要滚动到（不太长）无限滚动页面的末尾。我有 2 个选项可用于 chrome 非无头但似乎无法无头工作。

我最喜欢的第一个，效果很好，在 SA 上找到：

driver = webdriver.Chrome('c:/cd.exe', chrome_options=chrome_options)
driver.get('http://www.website.com')

while True:
    count = len(driver.find_elements_by_xpath('//div[@itemprop="itemListElement"]'))
    print(count)
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    try:
        WebDriverWait(driver, 50).until(EC.visibility_of_element_located((By.XPATH,
                                                                          "//div[@itemprop='itemListElement'][%s]" % str(count + 1))))
    except TimeoutException:
        break

意识到我无法在无头模式下摆脱上述问题后的第二份黑客工作：

driver = webdriver.Chrome('c:/cd.exe', chrome_options=chrome_options)
driver.get('https://www.website.com')

while True:

    count = len(driver.find_elements_by_xpath('//div[@itemprop="itemListElement"]'))
    actions = ActionChains(driver)
    actions.send_keys(Keys.PAGE_DOWN)
    actions.perform()
    actions.send_keys(Keys.PAGE_DOWN)
    actions.perform()


    # focus_element_scroll = driver.find_elements_by_xpath('//section[@class="occasion-content"]')
    # driver.find_elements_by_xpath('//div[@itemprop="itemListElement"]')[-1].send_keys(Keys.PAGE_DOWN)
    # driver.find_elements_by_xpath('//div[@itemprop="itemListElement"]')[-1].send_keys(Keys.PAGE_DOWN)
    # self.driver.find_element_by_css_selector("ul.list-with-results").send_keys(Keys.ARROW_DOWN)
    print(count)
    # driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    try:  
        WebDriverWait(driver, 50).until(EC.visibility_of_element_located((By.XPATH,
                                                                          "//div[@itemprop='itemListElement'][%s]" % str(count + 1))))
    except TimeoutException:
        break

所以两者都在 chrome 下工作，但不在无头模式下，我需要将它们推到 ubuntu vps 需要无头的地方，我知道xvfb 选项，但我很高兴我可以删除它并使用原生 chrome 因为液滴没有太多内存。

编辑：刚刚尝试了这种方法，重点放在页脚中的一个元素上，也适用于非无头但不适用于无头：

ActionChains(driver).move_to_element(focus[0]).perform()

有人有不同的方法吗？

编辑 只是想知道是否可以在无头模式下使用 chrome 滚动！

Answer 1

到scroll到end of the page（不是那么长）无限滚动到Default Chrome Browser 和 Headless Chrome Browser 你可以使用下面的代码块：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException

options = Options()
options.add_argument("--headless")
options.add_argument("start-maximized")
options.add_argument("disable-infobars")
options.add_argument("--disable-extensions")
options.add_argument("--no-sandbox")
options.add_argument("--disable-dev-shm-usage")
driver = webdriver.Chrome(chrome_options=options, executable_path=r'C:\Utility\BrowserDrivers\chromedriver.exe')
driver.get('http://www.website.com')

while (driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")):
    try:
        WebDriverWait(driver, 50).until(EC.visibility_of_element_located((By.XPATH, "//div[@itemprop='itemListElement']" )))
        # do your other actions within the Viewport
    except TimeoutException:
        break
print("Reached to the bottom of the page")

Answer 2

在尝试了 selenium、chrome 和 chrome 驱动程序的不同版本组合 2 天后找到了答案，我几乎放弃了，想使用 xvfb。

已经尝试最大化 chrome 参数中的 window，但没有帮助。但这次我尝试设置手动 window 大小。那有帮助。

    chrome_options.add_argument("window-size=1920,1080")

在这里发帖，这样下一篇就不会像我一样花时间了。

Answer 3

我刚刚运行在 windows 上解决了这个问题。使用 chrome 74，我通过以下 chrome 选项解决了这个问题。我的无头模式再次工作 :) 感谢 DebanjanB

chromeOptions.addArguments("--headless")
chromeOptions.addArguments("--no-sandbox")
chromeOptions.addArguments("--disable-dev-shm-usage")
chromeOptions.addArguments("--window-size=1920x1080")
chromeOptions.addArguments("start-maximised")

Headless chrome with selenium，只能想办法滚动非headless

Headless chrome with selenium, can only find ways to scroll non-headless

python

selenium

google-chrome

headless