Crawler4j vs. Jsoup 在 Java 中抓取和解析页面

Crawler4j vs. Jsoup for the pages crawling and parsing in Java

我想获取页面的内容并提取其中的特定部分。据我所知，此类任务至少有两种解决方案：Crawler4j and Jsoup.

他们都能够检索页面内容并提取其中的子部分。我唯一不确定的是，它们之间有什么区别？有一个similar question，标记为已回答：

Crawler4j is a crawler, Jsoup is a parser.

不过我查了下，Jsoup除了解析功能外，还可以抓取页面，而Crawler4j不仅可以抓取页面，还可以解析页面内容。

所以请问Crawler4j和Jsoup有什么区别吗？

抓取不仅仅是检索单个 URI 的内容。如果您只想检索某些页面的内容，那么使用 Crawler4J 之类的东西并没有真正的好处。

我们来看一个例子。假设您要抓取一个网站。要求是：

给出基本 URI（主页）
获取每个页面的所有 URI 并检索其中的内容。
为您检索的每个 URI 递归移动。
仅检索本网站内部 URI 的内容（可能有引用另一个网站的外部 URI，我们不需要这些）。
避免循环抓取。页面 A 具有页面 B（同一站点）的 URI。页面 B 具有页面 A 的 URI，但我们已经检索到页面 A 的内容（About 页面具有 Home 页面的 link，但我们已经获取了 Home 页面所以不要再次访问它）。
爬取操作必须是多线程的
网站很大。它包含很多页面。我们只想检索从 Home 页面开始的 50 个 URI。

这是一个简单的场景。尝试用 Jsoup 解决这个问题。所有这些功能都必须由您来实现。 Crawler4J 或与此相关的任何爬虫微框架，将或应该具有上述操作的实现。当您决定如何处理内容时，Jsoup 的强大品质就会闪耀。

让我们看一下解析的一些要求。

这就是 Jsoup 发挥作用的地方。当然，这里有一些重叠。 Crawler4J 或 Jsoup 可能有些事情是可能的，但这并不能使它们等同。您可以删除从 Jsoup 中检索内容的机制，并且仍然是一个很棒的工具。如果 Crawler4J 将删除检索，那么它将失去一半的功能。

我在现实生活场景中的同一个项目中使用了它们。我爬了一个站点，利用Crawler4J的优点，针对第一个例子中提到的所有问题。然后我将检索到的每个页面的内容传递给Jsoup，以便提取我需要的信息。我可以不使用其中之一吗？是的，我可以，但我将不得不实现所有缺失的功能。

因此有所不同，Crawler4J 是一个爬虫，具有一些简单的解析操作（您可以在一行中提取图像），但没有实现复杂的 CSS 查询。 Jsoup 是一个解析器，可为 HTTP 请求提供简单的 API。对于任何更复杂的东西，都没有实现。