使用 Crawljax 也可以从网页下载文件

Question

我正在尝试在 Java 中编写我自己的 crawljax 3.6 插件。它应该告诉 crawlingjax 这是一个非常著名的网络爬虫也下载他在网页上找到的文件。（PDF、图像等）。我不想要 HTML 或实际的 DOM-树。我想访问他找到的文件（PDF、jpg）。

如何让 crawjax 下载 PDF 文件、图片等？

感谢您的帮助！

这是我目前拥有的 - 使用默认插件 (CrawlOverview) 的新 Class:

import java.io.File;
import java.io.IOException;
import java.util.concurrent.TimeUnit;

import org.apache.commons.io.FileUtils;

import com.crawljax.browser.EmbeddedBrowser.BrowserType;
import com.crawljax.condition.NotXPathCondition;
import com.crawljax.core.CrawlSession;
import com.crawljax.core.CrawljaxRunner;
import com.crawljax.core.configuration.BrowserConfiguration;
import com.crawljax.core.configuration.CrawljaxConfiguration;
import com.crawljax.core.configuration.CrawljaxConfiguration.CrawljaxConfigurationBuilder;
import com.crawljax.core.configuration.Form;
import com.crawljax.core.configuration.InputSpecification;
import com.crawljax.plugins.crawloverview.CrawlOverview;

/**
 * Example of running Crawljax with the CrawlOverview plugin on a single-page
 * web app. The crawl will produce output using the {@link CrawlOverview}
 * plugin.
 */
public final class Main {
    private static final long WAIT_TIME_AFTER_EVENT = 200;
    private static final long WAIT_TIME_AFTER_RELOAD = 20;
    private static final String URL = "http://demo.crawljax.com";

    /**
     * Run this method to start the crawl.
     *
     * @throws IOException
     *             when the output folder cannot be created or emptied.
     */
    public static void main(String[] args) throws IOException {
        CrawljaxConfigurationBuilder builder = CrawljaxConfiguration
                .builderFor(URL);
        builder.addPlugin(new CrawlOverview());


        builder.crawlRules().insertRandomDataInInputForms(false);
        // click these elements
        builder.crawlRules().clickDefaultElements();
        builder.crawlRules().click("div");
        builder.crawlRules().click("a");
        builder.setMaximumStates(10);
        builder.setMaximumDepth(3);
        // Set timeouts
        builder.crawlRules().waitAfterReloadUrl(WAIT_TIME_AFTER_RELOAD,
                TimeUnit.MILLISECONDS);
        builder.crawlRules().waitAfterEvent(WAIT_TIME_AFTER_EVENT,
                TimeUnit.MILLISECONDS);


        // We want to use two browsers simultaneously.
        builder.setBrowserConfig(new BrowserConfiguration(BrowserType.FIREFOX,
                1));
        CrawljaxRunner crawljax = new CrawljaxRunner(builder.build());
        crawljax.call();

    }
}

Answer 1

关于图像 - 我没有发现任何问题，Crawljax 加载这些对我来说很好。

关于 PDF 主题：不幸的是，Crawljax 被硬编码为跳过指向 PDF 文件的链接。

参见 com.crawljax.core.CandidateElementExtractor:342:

/**
 * @param href
 *            the string to check
 * @return true if href has the pdf or ps pattern.
 */
private boolean isFileForDownloading(String href) {
    final Pattern p = Pattern.compile(".+.pdf|.+.ps|.+.zip|.+.mp3");
    Matcher m = p.matcher(href);

    if (m.matches()) {
        return true;
    }

    return false;
}

这可以通过修改 Crawljax 源代码并为上述模式引入配置选项来解决。

Selenium 对非 HTML 文件的限制适用后：在 Firefox JavaScript PDF 查看器中查看 PDF，出现下载弹出窗口或下载文件。可以与 JavaScript 查看器交互，但无法与下载弹出窗口交互，但如果启用了自动下载，则文件将下载到磁盘。

如果您想将 Firefox 设置为自动下载文件而不弹出下载对话框：

import javax.inject.Provider;

static class MyFirefoxProvider implements Provider<EmbeddedBrowser> {

    @Override
    public EmbeddedBrowser get() {
        FirefoxProfile profile = new FirefoxProfile();
        profile.setPreference("browser.download.folderList", 2);
        profile.setPreference("browser.download.dir", "/tmp");
        profile.setPreference("browser.helperApps.neverAsk.saveToDisk",
            "application/octet-stream,application/pdf,application/x-gzip");

        // disable Firefox's built-in PDF viewer
        profile.setPreference("pdfjs.disabled", true);
        // disable Adobe Acrobat PDF preview plugin
        profile.setPreference("plugin.scan.plid.all", false);
        profile.setPreference("plugin.scan.Acrobat", "99.0");

        FirefoxDriver driver = new FirefoxDriver(profile);

        return WebDriverBackedEmbeddedBrowser.withDriver(driver);
    }
}

并使用新创建的 FirefoxProvider：

BrowserConfiguration bc = 
new BrowserConfiguration(BrowserType.FIREFOX, 1, new MyFirefoxProvider());

Answer 2

通过在 getStrippedDom() 上使用 CSS 选择器 a[href]，使用 Jsoup 手动获取链接，遍历元素并使用 HttpURLConnection / HttpsURLConnection下载它们。

使用 Crawljax 也可以从网页下载文件

Use Crawljax to also download files from webpage

java

download

web-crawler