使用 python 无头浏览器获得 html 响应

Getting html response with python headless browser

我正在尝试制作一个执行多项搜索并下载结果的自动化系统。我需要先获得网站的身份验证,直接进入搜索页面,设置搜索参数,制作 html 请求,其中包括 post 发送的一些值,得到响应 html解析要下载的内容并下载它。你能帮助我并将我重定向到一些示例以了解如何做这样的事情吗?什么是最好用的软件包?

最佳

当我需要解析一堆 HTML 的关键信息时,我很幸运能够使用 Python,我总是先找到 BeautifulSoup。

https://www.crummy.com/software/BeautifulSoup/