Selenium Web Scraping 打开单独的浏览器

Question

我正在做一个分析 Supercluster Astronaut Database 的项目。几周前我发布了一个关于从网站上抓取数据的 Whosebug 问题，并从其中一位有用的海报中获取了下面的代码。

这个过程唯一剩下的问题是，当我加载代码时，浏览器 window 弹出链接到我试图抓取的数据源。我尝试修改这段代码，通过在这里和那里注释掉几行来让浏览器 window 不弹出，但我尝试过的任何事情似乎都无法正常工作。有人可以帮我指出正确的方向来修改下面的代码以使浏览器不弹出吗？

from bs4 import BeautifulSoup
import pandas as pd
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
import time


data = []

url = 'https://www.supercluster.com/astronauts?ascending=false&limit=300&list=true&sort=launch%20order'

driver = webdriver.Chrome(ChromeDriverManager().install())
driver.maximize_window()
time.sleep(5)
driver.get(url)
time.sleep(5)

soup = BeautifulSoup(driver.page_source, 'lxml')
driver.close()
tags = soup.select('.astronaut_cell.x')

for item in tags:
    name = item.select_one('.bau.astronaut_cell__title.bold.mr05').get_text()
    #print(name.text)
    country = item.select_one('.mouseover__contents.rel.py05.px075.bau.caps.small.ac')
    if country:
        country=country.get_text()
    #print(country)
    
    data.append([name, country])



cols=['name','country']
df = pd.DataFrame(data,columns=cols)

print(df)

Answer 1

我认为您正在寻找运行您在 headless 模式下的代码。您可以在 Options() class 中添加无头参数来实现此目的。

代码：-

from bs4 import BeautifulSoup
import pandas as pd
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from webdriver_manager.chrome import ChromeDriverManager
import time


data = []

url = 'https://www.supercluster.com/astronauts?ascending=false&limit=300&list=true&sort=launch%20order'

options = Options()
options.add_argument("--headless")
driver = webdriver.Chrome(ChromeDriverManager().install(),options=options)
driver.maximize_window()
driver.get(url)
time.sleep(10)

soup = BeautifulSoup(driver.page_source, 'lxml')
driver.close()
tags = soup.select('.astronaut_cell.x')

for item in tags:
    name = item.select_one('.bau.astronaut_cell__title.bold.mr05').get_text()
    #print(name.text)
    country = item.select_one('.mouseover__contents.rel.py05.px075.bau.caps.small.ac')
    if country:
        country=country.get_text()
    #print(country)
    
    data.append([name, country])



cols=['name','country']
df = pd.DataFrame(data,columns=cols)

print(df)

Selenium Web Scraping 打开单独的浏览器

Selenium Web Scraping Opens Separate Browser

python

selenium

selenium-webdriver

beautifulsoup

browser