Web 抓取:像 Chrome 那样更新数据?
Web scraping: update data like in Chrome?
我发现 Python 中所有关于网络抓取的文章都引用了 BeautifulSoup 和 Selenium 作为主要工具,用于从 HTML 和 JavaScript 中检索内容网页。
但是,我还没有找到无需向其发送新请求即可自动更新从同一网页接收到的数据的方法。
在Python中是不是不可能做到你在GoogleChrome中所做的事情,即简单地打开一个网页并查看它是由主机自动更新的?
是的,这是可能的。例如,如果使用 JavaScript 动态修改内容,您可以循环下载 DOM 树的元素。您也可以调用自己的 JavaScript 来执行特定的操作。或者,您甚至可以编写并上传自己的浏览器插件。总的来说,在selenium中你可以在很大程度上像普通用户一样控制浏览器,而不需要再次刷新页面。
我发现 Python 中所有关于网络抓取的文章都引用了 BeautifulSoup 和 Selenium 作为主要工具,用于从 HTML 和 JavaScript 中检索内容网页。
但是,我还没有找到无需向其发送新请求即可自动更新从同一网页接收到的数据的方法。
在Python中是不是不可能做到你在GoogleChrome中所做的事情,即简单地打开一个网页并查看它是由主机自动更新的?
是的,这是可能的。例如,如果使用 JavaScript 动态修改内容,您可以循环下载 DOM 树的元素。您也可以调用自己的 JavaScript 来执行特定的操作。或者,您甚至可以编写并上传自己的浏览器插件。总的来说,在selenium中你可以在很大程度上像普通用户一样控制浏览器,而不需要再次刷新页面。