Selenium：在不重定向到页面的情况下单击时获取按钮的 url

Question

抓取页面 https://www.milanuncios.com/viviendas-en-eixample-esquerra-barcelona-barcelona/?demanda=n&fromSearch=1&orden=date，我尝试在不被重定向的情况下获取下一页。问题是按钮在html中没有下一页url所以我不能直接用beautiful soup或selenium得到它，它只在点击时出现：

div_list = driver.find_element(by=By.CSS_SELECTOR,value='[class = "ma-NavigationPagination"]')
nav_list = div_list.find_elements(by=By.TAG_NAME, value = "button")
nav_list[-1].click()

上面的代码找到并单击按钮，但重定向到它。

我需要做的是获取该点击的url而不被重定向到使用硒或beautifulsoup的页面。

备注：

网页是脚本创建的，所以简单的请求无法自己到达按钮部分。
我正在使用 firefox 可执行文件driver = webdriver.Firefox(options=options, executable_path=r'geckodriver.exe')

Answer 1

检查URL，它有一个参数“pagina”。

https://www.milanuncios.com/viviendas-en-eixample-esquerra-barcelona-barcelona/?demanda=n&fromSearch=1&orden=date&pagina=2

您可以遍历 int 范围，因此无需单击下一页按钮。

for page_b in range(1, 100):
    url = f"https://www.milanuncios.com/viviendas-en-eixample-esquerra-barcelona-barcelona/?demanda=n&fromSearch=1&orden=date&pagina={page_n}"
     #### Scrape process ####

Selenium：在不重定向到页面的情况下单击时获取按钮的 url

Selenium: get the url of a button when clicking without being redirected to the page

python

selenium

beautifulsoup

request