HtmlUnit - 找不到动态内容
HtmlUnit - Dynamic Content not found
加载此页面时,动态内容在 HtmlPage 对象中被 return 编入时我运气不佳:https://www.fangraphs.com/leaders/splits-leaderboards?splitArr=5&strgroup=season&statgroup=1&startDate=2018-03-01&endDate=2018-11-01&filter=IP%7Cgt%7C0&position=P&statType=player&autoPt=true&players=&pg=0&pageItems=30&sort=22,1&splitArrPitch=&splitTeams=false
"react-drop-test" div 为空。我正在尝试找到带有 "Export Data" 文本的锚点,以便我可以单击它并以流的形式获取内容。
有什么想法可以让 HtmlPage 包含动态内容吗?
这是我现在拥有的样本。锚从不 return 任何元素。
webClient = new WebClient(BrowserVersion.CHROME);
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
webClient.getCookieManager().setCookiesEnabled(false);
webClient.getOptions().setThrowExceptionOnScriptError(false);
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
webClient.setJavaScriptTimeout(jsTimeout);
updateJSErrorListener(webClient);
int thisYear = year;
if (isEarlySeason()) {
thisYear = year - 1;
}
String leftyURL = "https://www.fangraphs.com/leaderssplits.aspx?splitArr=5&strgroup=season&statgroup=1&startDate=" + thisYear + "-03-01&endDate=" + year + "-11-01&filter=IP%7Cgt%7C0&position=P&statType=player&autoPt=true&players=&pg=0&pageItems=30&sort=22,1";
HtmlPage page = webClient.getPage(leftyURL);
HtmlAnchor leftyAnchor = null;
HtmlDivision div = (HtmlDivision) page.getElementById("react-drop-test");
List<HtmlElement> anchors = div.getElementsByTagName("a");
for (DomElement anchor:anchors2) {
if ((anchor.getAttribute("class").contains("data-export"))) {
leftyAnchor = (HtmlAnchor) anchor;
break;
}
}
Page p = leftyAnchor.click();
InputStream is = p.getWebResponse().getContentAsStream();
List<List<String>> leftyCSV = readCSVFile(is);
还有一个网页充满了奇怪的js。那么让我从一些一般提示开始:
- 如果不需要(或者如果您不知道这会产生什么影响),请不要更改默认配置
- 因为您的页面(或至少部分)是由 javscript 呈现的,您必须在某个地方等待
最后:您需要更新版本的 HtmlUnit 才能完成工作,因为 javascript 实现 misses one feature 才能使此页面使用的 javascript 代码正常工作。
要获取新的 (SNAPSHOT) 版本,您有以下选择:
- 等待下一个版本
- 等待 maven 提供下一个快照构建(如果可用,将通过 https://twitter.com/HtmlUnit 通知)
- 等待构建服务器(http://83.169.43.181/jenkins/job/HtmlUnit%20-%20Fast%20Build/)再次变绿,然后下载最新的工件
- 或在 Github (https://github.com/HtmlUnit/htmlunit) 上 fork 项目并自己构建它
使用最新的代码库,这将为您完成工作:
String url = "https://www.fangraphs.com/leaders/splits-leaderboards?splitArr=5&strgroup=season&statgroup=1&startDate=2018-03-01&endDate=2018-11-01&filter=IP%7Cgt%7C0&position=P&statType=player&autoPt=true&players=&pg=0&pageItems=30&sort=22,1&splitArrPitch=&splitTeams=false";
try (final WebClient webClient = new WebClient(BrowserVersion.FIREFOX_60)) {
webClient.getOptions().setThrowExceptionOnScriptError(false);
HtmlPage page = webClient.getPage(url);
webClient.waitForBackgroundJavaScript(50000);
System.out.println("----------------");
System.out.println(page.asText());
HtmlDivision div = (HtmlDivision) page.getElementById("react-drop-test");
List<HtmlElement> anchors = div.getElementsByTagName("a");
for (DomElement anchor:anchors) {
if ((anchor.getAttribute("class").contains("data-export"))) {
HtmlAnchor leftyAnchor = (HtmlAnchor) anchor;
Page p = leftyAnchor.click();
System.out.println();
System.out.println("----------------");
System.out.println(p.getWebResponse().getContentAsString());
break;
}
}
}
加载此页面时,动态内容在 HtmlPage 对象中被 return 编入时我运气不佳:https://www.fangraphs.com/leaders/splits-leaderboards?splitArr=5&strgroup=season&statgroup=1&startDate=2018-03-01&endDate=2018-11-01&filter=IP%7Cgt%7C0&position=P&statType=player&autoPt=true&players=&pg=0&pageItems=30&sort=22,1&splitArrPitch=&splitTeams=false
"react-drop-test" div 为空。我正在尝试找到带有 "Export Data" 文本的锚点,以便我可以单击它并以流的形式获取内容。
有什么想法可以让 HtmlPage 包含动态内容吗?
这是我现在拥有的样本。锚从不 return 任何元素。
webClient = new WebClient(BrowserVersion.CHROME);
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
webClient.getCookieManager().setCookiesEnabled(false);
webClient.getOptions().setThrowExceptionOnScriptError(false);
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
webClient.setJavaScriptTimeout(jsTimeout);
updateJSErrorListener(webClient);
int thisYear = year;
if (isEarlySeason()) {
thisYear = year - 1;
}
String leftyURL = "https://www.fangraphs.com/leaderssplits.aspx?splitArr=5&strgroup=season&statgroup=1&startDate=" + thisYear + "-03-01&endDate=" + year + "-11-01&filter=IP%7Cgt%7C0&position=P&statType=player&autoPt=true&players=&pg=0&pageItems=30&sort=22,1";
HtmlPage page = webClient.getPage(leftyURL);
HtmlAnchor leftyAnchor = null;
HtmlDivision div = (HtmlDivision) page.getElementById("react-drop-test");
List<HtmlElement> anchors = div.getElementsByTagName("a");
for (DomElement anchor:anchors2) {
if ((anchor.getAttribute("class").contains("data-export"))) {
leftyAnchor = (HtmlAnchor) anchor;
break;
}
}
Page p = leftyAnchor.click();
InputStream is = p.getWebResponse().getContentAsStream();
List<List<String>> leftyCSV = readCSVFile(is);
还有一个网页充满了奇怪的js。那么让我从一些一般提示开始:
- 如果不需要(或者如果您不知道这会产生什么影响),请不要更改默认配置
- 因为您的页面(或至少部分)是由 javscript 呈现的,您必须在某个地方等待
最后:您需要更新版本的 HtmlUnit 才能完成工作,因为 javascript 实现 misses one feature 才能使此页面使用的 javascript 代码正常工作。
要获取新的 (SNAPSHOT) 版本,您有以下选择:
- 等待下一个版本
- 等待 maven 提供下一个快照构建(如果可用,将通过 https://twitter.com/HtmlUnit 通知)
- 等待构建服务器(http://83.169.43.181/jenkins/job/HtmlUnit%20-%20Fast%20Build/)再次变绿,然后下载最新的工件
- 或在 Github (https://github.com/HtmlUnit/htmlunit) 上 fork 项目并自己构建它
使用最新的代码库,这将为您完成工作:
String url = "https://www.fangraphs.com/leaders/splits-leaderboards?splitArr=5&strgroup=season&statgroup=1&startDate=2018-03-01&endDate=2018-11-01&filter=IP%7Cgt%7C0&position=P&statType=player&autoPt=true&players=&pg=0&pageItems=30&sort=22,1&splitArrPitch=&splitTeams=false";
try (final WebClient webClient = new WebClient(BrowserVersion.FIREFOX_60)) {
webClient.getOptions().setThrowExceptionOnScriptError(false);
HtmlPage page = webClient.getPage(url);
webClient.waitForBackgroundJavaScript(50000);
System.out.println("----------------");
System.out.println(page.asText());
HtmlDivision div = (HtmlDivision) page.getElementById("react-drop-test");
List<HtmlElement> anchors = div.getElementsByTagName("a");
for (DomElement anchor:anchors) {
if ((anchor.getAttribute("class").contains("data-export"))) {
HtmlAnchor leftyAnchor = (HtmlAnchor) anchor;
Page p = leftyAnchor.click();
System.out.println();
System.out.println("----------------");
System.out.println(p.getWebResponse().getContentAsString());
break;
}
}
}