在 HTMLUnit 中获取动态注入内容的问题

Question

HTMLUnit 版本：2.36.0

我正在尝试获取此页面内容（中间部分为实际投注）：

https://play.livebet.com/#/sport/?type=0&sport=1&game=15095924&competition=543&region=1170001

好像没有被JS注入，搞不定

我已经尝试过循环等待，但没有用

WebClient client = new WebClient(BEST_SUPPORTED);
client.getOptions().setJavaScriptEnabled(true);
HtmlPage page = client.getPage("https://play.livebet.com/#/sport/?type=0&sport=1&game=15095924&competition=543&region=1170001");

我很想得到这个：

List<HtmlElement> divTables = page.getByXPath("//div[contains(@class, 'multicolumn-table')]");

但当然只有在内容加载后它才会存在。

谁能帮我想办法获取内容？

Answer 1

似乎是 HtmlUnit 的问题（至少版本 2.36.0）。关于 RocketLoader（由本网站使用），HtmlUnit 的模拟似乎与真正的浏览器有所不同。

RocketLoader 将此警告转储到日志中 - 结果未执行获取页面内容所需的 javascript。

WARN  com.gargoylesoftware.htmlunit.WebConsole - [ROCKET LOADER]  Placeholder for script 
<script src="//ajax.googleapis.com/ajax/libs/angularjs/1.7.7/angular.min.js?v=1.7.7" type="text/javascript"></script>
 was detached from document. Script will not be executed.

暂时没时间详细分析，如果你能花点时间找出原因就好了(http://htmlunit.sourceforge.net/submittingJSBugs.html)。

在 HTMLUnit 中获取动态注入内容的问题

Problem to get dynamically injected content in HTMLUnit

javascript

html

htmlunit