如何通过 Java 解析器在站点上触发 jQuery 脚本

Question

我正在尝试解析来自 https://www.epam.com/careers/job-listings?query=java&department=all&city=Kyiv&country=Ukraine
的职位空缺但除了像 "Job Listings Global/English Deutschland/Deutsch Россия/Русский"
这样的纯文本，我没有得到任何东西问题是当你加载一个页面时——浏览器运行是一个加载一些空缺的脚本，但是我怎么能理解 JSOUP 不能 "simulate" 浏览器和运行一个脚本。我尝试了 HtmlUnit，但它也什么也没做。
问题：我该怎么办？我是不是 HtmlUnit 做错了什么？

Jsoup

Element page = = Jsoup.connect("https://www.epam.com/careers/job-listings?sort=best_match&query=java&department=all&city=all&country=Poland").get();

HtmlUnit

try (final WebClient webClient = new WebClient(BrowserVersion.FIREFOX_52)) {
    page = webClient.getPage("https://www.epam.com/careers/job-listings?query=java&department=all&city=Kyiv&country=Ukraine");
}

我想我需要手动运行一些带有

的脚本

result = page.executeJavaScript("function aa()");

但是哪一个呢？

Answer 1

您只需要稍等片刻here。

您可以使用：

try (final WebClient webClient = new WebClient(BrowserVersion.CHROME)) {
    String url = "https://www.epam.com/careers/job-listings?query=java&department=all&city=Kyiv&country=Ukraine";

    HtmlPage page = webClient.getPage(url);
    Thread.sleep(3_000);
    System.out.println(page.asXml());
}

如何通过 Java 解析器在站点上触发 jQuery 脚本

How to trigger jQuery script on site by Java parser

javascript

java

parsing

jsoup

htmlunit