为什么爬取relatedwords.org没有显示结果？

Question

我正在尝试抓取 relatedwords.org 网站以查找相似的词，但显示这些词的块不在源代码中。这是我正在使用的代码：

public class SimilarWords {

public static void main(String[] args) throws IOException {

    Document homePage = Jsoup.connect("https://relatedwords.org/relatedto/towing").ignoreHttpErrors(true).get();

    System.out.println(homePage);

}

}

可能是什么原因？

Answer 1

你基本上是在请求错误url。

https://relatedwords.org/relatedto/towing returns 等同于 https://relatedwords.org

如果您检查浏览器发出的请求，您会看到一个 XHR 请求，它正在请求您搜索的字词的实际答案：https://relatedwords.org/api/related?term=towing

这是您要查询的url。它 returns 您的数据采用 JSON 格式。

您可以在浏览器中使用开发人员工具检查请求。按 F12

为什么爬取relatedwords.org没有显示结果？

Why does crawling relatedwords.org shows no results?

web-crawler

jsoup