如何更改 JSOUP 中的浏览器版本？

Question

我正在尝试解析来自 amd.com 的数据。在 Opera 浏览器页面看起来 like that, with cpu's name and link to the page in third column. But when I use JSOUP, it getting me this page (like in IE)。
文档的获取方法：

private Document getDocument(String url) {
        try {
            String userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36 OPR/66.0.3515.72";
            return Jsoup.connect(url).userAgent(userAgent).get();
        } catch (IOException e) {
            throw new IllegalStateException(e);
        }
    }

在 userAgent 中，我遵循了 TuyenNTA's advise。
我需要获取 cpus 页面的链接。

Answer 1

原因可能是，该网页被 javascript 动态更改。 Jsoup 将无法捕获这些更改。您可以尝试将 jsoup 与硒结合使用。这是一个示例（您在问题中提到了 Opera 浏览器，因此示例使用 Opera 驱动程序）：

        // set opera driver location
        System.setProperty("webdriver.opera.driver", "<PATH_TO_operadriver.exe>");
        OperaOptions options = new OperaOptions();
        options.setBinary("<PATH_TO_opera.exe>");
        WebDriver driver = new OperaDriver(options);

        try {
            driver.get("http://amd.com");
            Document doc = Jsoup.parse(driver.getPageSource());
        } finally {
            driver.close();
            driver.quit();
        }

如何更改 JSOUP 中的浏览器版本？

How to change browser version in JSOUP?

java

parsing

jsoup