使用 Python (Selenium) 抓取 IMDB（.click() 不起作用）

Question

我正在尝试使用此 tutorial.

从 IMDB 中抓取特定电影的列表

代码运行良好，期待 click 获取 URL 然后保存内容。它不工作。问题是 chrome 没有任何变化运行如果有人能提供帮助，我真的很感激代码。

content = driver.find_element_by_class_name("tF2Cxc").click()

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import pandas as pd
from vaderSentiment.vaderSentiment import SentimentIntensityAnalyzer
import time

movie = 'Wolf Totem'
driver = webdriver.Chrome(executable_path=r"D:\chromedriver.exe")

#Go to Google
driver.get("https://www.google.com/")

#Enter the keyword
driver.find_element_by_name("q").send_keys(movie + " imdb")
time.sleep(1)

#Click the google search button
driver.find_element_by_name("btnK").send_keys(Keys.ENTER)
time.sleep(1)

Answer 1

您使用了错误的定位器。
要在 Google 页面上打开搜索结果，您应该使用：

driver.find_element_by_xpath("//div[@class='yuRUbf']/a").click()

此定位器将匹配所有 10 个搜索结果，因此第一个匹配项是第一个搜索结果。
另外，点击那个元素不会给你任何内容，只是打开第一个搜索结果标题下面的第一个link。

使用 Python (Selenium) 抓取 IMDB（.click() 不起作用）

Using Python (Selenium) to Scrape IMDB (.click() is not working)

python

selenium

scrape

selenium-webdriver