使用 jsoup 解析动态增长的网页

Parsing dynamically growing web pages with jsoup

我正在编写一个 Android 应用程序来解析网页,过滤其中的图像链接并将它们加载到 WebView

它适用于静态页面,但我不知道如何处理在我向下滚动时动态添加内容的页面,例如 9gag, imgur、Facebook 等

有解决办法吗?我猜动态内容是由 JavaScript 处理的。也许有一种方法可以在解析页面之前调用此 JavaScript 代码?

如有任何建议,我将不胜感激。

提前致谢。

您应该尝试查看动态页面发出的请求。 它们都使用动态分页模式或游标。 例如,Imgur 发出带有这样 url 的请求。

https://imgur.com/gallery/hot/viral/page/4/hit?set=0

您指定页面的位置,集合是页面的一部分(通常最多 3 个)