使用 selenium 错误连接进行抓取已关闭

Question

我正在使用 selenium 抓取网站，但我得到了这个 error.what 这是什么意思？我被封锁了吗？我应该怎么做才能在该网站上进行抓取..

WebDriverException: Message: unknown error: net::ERR_CONNECTION_CLOSED
  (Session info: chrome=88.0.4324.104)

这是我的代码

driver = webdriver.Chrome()
driver.get("https://www.bi.go.id/id/statistik/informasi-kurs/transaksi-bi/Default.aspx")

wait = WebDriverWait(driver, 10)

driver.implicitly_wait(10) #secs


# click "usd"

book = wait.until(EC.element_to_be_clickable((By.ID,"selectPeriod")))
sel = Select(book)
sel.select_by_value("range")

bookk = wait.until(EC.element_to_be_clickable((By.ID,"ctl00_PlaceHolderMain_g_6c89d4ad_107f_437d_bd54_8fda17b556bf_ctl00_ddlmatauang1")))
sel = Select(bookk)
sel.select_by_value("USD  ")

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

start_date = driver.find_element_by_id("ctl00_PlaceHolderMain_g_6c89d4ad_107f_437d_bd54_8fda17b556bf_ctl00_txtFrom")
start_date.send_keys("30-Des-20")
end_date = driver.find_element_by_id("ctl00_PlaceHolderMain_g_6c89d4ad_107f_437d_bd54_8fda17b556bf_ctl00_txtTo")
end_date.send_keys(time.strftime("%d-%m-%Y"))

time.sleep(5)
buttons = driver.find_elements_by_xpath("//input[@value='Cari']")
buttons[1].click()

提前致谢

Answer 1

您在调用方法时没有给出 chrome 驱动程序路径 webdriver.Chrome() 可能是您已将环境路径设置为 chrome 驱动程序我在 windows 机器上试过你的代码，它通过设置驱动程序路径对我有用。

尝试如下所示手动设置路径并检查问题是否仍然存在。可能是环境问题

driver_path = 'chromedriver.exe'
driver = webdriver.Chrome(driver_path)

请同时检查 link ERR_CONNECTION_CLOSED，可能 chrome 无法连接到互联网，您可以在 chrome 浏览器上访问网站吗还是需要设置代理访问互联网？？

使用 selenium 错误连接进行抓取已关闭

Scraping using selenium error connection closed

python

selenium

screen-scraping