提高crawler4j的性能

Question

我需要编写一个网络抓取工具来抓取大约 100 万个网站并将它们的标题、描述和关键字保存到一个大文件中（包含抓取的 URL 和相关词）。 URLs 应该从一个大文件中提取。

我在 1M URLs 文件上使用了运行 Crawler4j，并使用以下命令启动了网络爬虫：controller.start(MyCrawler.class, 20)。 20 是一个任意数字。每个爬虫将结果词传递到阻塞 queue 中，以便单个线程将这些词和 URL 写入文件。为了不在文件上同步，我使用了 1 个编写器线程。我设置爬取深度为0（我只需要爬取我的种子列表）

在运行这个晚上之后，我只下载了大约 200K 的 URL。我是运行使用有线连接的 1 台机器上的爬虫。由于大多数 URL 属于不同的主机，我认为礼貌参数在这里没有任何重要性。

编辑

我尝试使用非阻塞启动方式启动 Crawler4j，但它被阻塞了。我的 Crawler4j 版本是：4.2。这是我正在使用的代码：

CrawlConfig config = new CrawlConfig();
List<Header> headers = Arrays.asList(
        new BasicHeader("Accept", "text/html,text/xml"),
        new BasicHeader("Accept-Language", "en-gb, en-us, en-uk")
);
config.setDefaultHeaders(headers);
config.setCrawlStorageFolder(crawlStorageFolder);
config.setMaxDepthOfCrawling(0);
config.setUserAgentString("testcrawl");
config.setIncludeBinaryContentInCrawling(false);
config.setPolitenessDelay(10);

PageFetcher pageFetcher = new PageFetcher(config);
RobotstxtConfig robotstxtConfig = new RobotstxtConfig();
RobotstxtServer robotstxtServer = new RobotstxtServer(robotstxtConfig, pageFetcher);

BlockingQueue<String> urlsQueue = new ArrayBlockingQueue<>(400);
controller = new CrawlController(config, pageFetcher, robotstxtServer);

ExecutorService executorService = Executors.newSingleThreadExecutor();
Runnable writerThread = new FileWriterThread(urlsQueue, crawlStorageFolder, outputFile);

executorService.execute(writerThread);

controller.startNonBlocking(() -> {
    return new MyCrawler(urlsQueue);
}, 4);

File file = new File(urlsFileName);
try (BufferedReader br = new BufferedReader(new FileReader(file))) {
    String url;
    while ((url = br.readLine()) != null) {
        controller.addSeed(url);
    }
}

编辑 1 - 这是 MyCrawler

的代码

public class MyCrawler extends WebCrawler {
    private final static Pattern FILTERS = Pattern.compile(".*(\.(css|js|gif|jpg|png|mp3|mp3|zip|gz))$");
    public static final String DELIMETER = "||||";
    private final StringBuilder buffer = new StringBuilder();
    private final BlockingQueue<String> urlsQueue;

    public MyCrawler(BlockingQueue<String> urlsQueue) {
        this.urlsQueue = urlsQueue;
    }

    @Override
    public boolean shouldVisit(Page referringPage, WebURL url) {
        String href = url.getURL().toLowerCase();
        return !FILTERS.matcher(href).matches();
    }

    @Override
    public void visit(Page page) {
        String url = page.getWebURL().getURL();

        if (page.getParseData() instanceof HtmlParseData) {
            HtmlParseData parseData = (HtmlParseData) page.getParseData();
            String html = parseData.getHtml();
            String title = parseData.getTitle();

            Document document = Jsoup.parse(html);
            buffer.append(url.replaceAll("[\n\r]", "")).append(DELIMETER).append(title);
            Elements descriptions = document.select("meta[name=description]");
            for (Element description : descriptions) {
                if (description.hasAttr("content"))
                    buffer.append(description.attr("content").replaceAll("[\n\r]", ""));
            }

            Elements elements = document.select("meta[name=keywords]");
            for (Element element : elements) {
                String keywords = element.attr("content").replaceAll("[\n\r]", "");
                buffer.append(keywords);
            }
            buffer.append("\n");
            String urlContent = buffer.toString();
            buffer.setLength(0);
            urlsQueue.add(urlContent);
        }
    }

    private boolean isSuccessful(int statusCode) {
        return 200 <= statusCode && statusCode < 400;
    }
}

所以我有 2 个问题：

有人可以建议任何其他方法来缩短此过程的时间吗？也许以某种方式调整爬虫线程的数量？也许其他一些优化？我更喜欢不需要多台机器的解决方案，但如果您认为这是发挥作用的唯一方法，有人可以建议如何做到这一点吗？也许是代码示例？
有什么方法可以让爬虫开始处理某些 URL 并在爬行期间继续添加更多 URL？我看过 crawler.startNonBlocking，但似乎效果不佳

提前致谢

Answer 1

crawler4j 默认设计为在一台机器上运行。从web-crawling领域我们知道，网络爬虫的性能主要取决于以下四种资源：

磁盘
CPU
带宽
（内存）

定义最佳线程数取决于您的硬件设置。因此，更多的机器将导致更高的吞吐量。下一个硬限制是网络带宽。如果您不是通过高速互联网连接，这将是您方法的瓶颈。

此外，crawler4j 并非旨在默认加载如此巨大的种子文件。这是因为 crawler4j 尊重爬虫的礼貌。这意味着，在抓取开始之前，每个种子点都会检查 robots.txt，这可能会花费相当多的时间。

如果以非阻塞模式启动爬网，则在启动爬网后添加种子是可能的，并且应该有效。但是，处理完 URL 可能需要一段时间。

对于多机设置，您可以查看 Apache Nutch。然而，Nutch 有点难学。

编辑：

重现您的设置后，我能够以动态方式回答您关于添加种子页面的问题。

以这种方式启动爬虫

controller.startNonBlocking(() -> {
    return new MyCrawler(urlsQueue);
}, 4);

将调用每个爬虫线程的 run() 方法。研究这个方法，我们发现了一个名为frontier.getNextURLs(50, assignedURLs);的方法，它负责从边界取出看不见的URLs来处理它们。在这个方法中，我们找到了一个所谓的waitingList，它会导致线程等待。由于在控制器关闭之前 notifyAll 永远不会在 waitingList 上调用，因此线程永远不会重新安排新的 URLs.

要克服这个问题，您有两种可能的解决方案：

只需为每个线程添加至少一个 URL 作为种子点。不会出现死锁情况。以非阻塞模式启动线程后，您可以随意添加种子。

controller.addSeed("https://www.google.de");

controller.startNonBlocking(() -> {
    return new MyCrawler(urlsQueue);
}, 4);

controller.addSeed("https://www.google.de/test");

controller.waitUntilFinish();

寻找 Github 项目的分支并调整 Frontier.java 的代码，以便可以从 [=24= 调用 waitingList.notifyAll() 方法] 动态添加种子页面后。

提高crawler4j的性能

Improving performance of crawler4j

java

multithreading

optimization

web-scraping

crawler4j