如何使用 shadow-root 访问网站中的产品元素？

Question

我是 python 的新手，我正在努力学习。我目前正在一个有 shadow-root 的网站上做一个网络抓取项目，但是我无法访问 shadow-root 下的元素。我真的很感激一点帮助和一些建议。节目是'untitled0.py'。另外，我试图只使用 selenium webdriver，并且作为最后的手段 shadowpy。无论我做什么，product_name_TOS 都返回了一个空列表。

import pandas as pd
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
service = Service(executable_path=ChromeDriverManager().install())
driver_TOS = webdriver.Chrome(service=service)
driver_TOS.get("https://www.bedbathandbeyond.com/store/category/college/decor/10625?icid=hp_homepage_4acrs_slot2_bath")
prod_names_TOS = []
prod_prices_TOS = []
time.sleep(5)
shadow_host_TOS = driver_TOS.find_element("id", "wmHostPrimary")
shadow_root = driver_TOS.execute_script('return arguments[0].shadowRoot', shadow_host_TOS)
#shadow_root_TOS = shadow_host_TOS.shadowRoot
products_TOS = shadow_root.find_elements("css selector", ".prodCardWrap")
for product_TOS in products_TOS:
    product_container_TOS = product_TOS.find_element("class name", "prodCardR")
    product_name_TOS = product_container_TOS.find_element("class name", "prodTitle").get_element("innerText")
    prod_names_TOS.append(product_name_TOS)
print(prod_names_TOS)

Answer 1

几乎一切都正确，只是有一点小错误

product_name_TOS = product_container_TOS.find_element("class name", "prodTitle").get_element("innerText")

方法不是.get_element而是.get_attribute。请注意，在这种情况下，您还可以使用 .text

如何使用 shadow-root 访问网站中的产品元素？

How do I acces the products element in a website with shadow-root?

python

selenium

web-scraping