如何在 StormCrawler 中使用快速 url 过滤器？

Question

我遇到了快速 url 过滤器。它提供了几个选项，例如将过滤器应用于特定 domain.could 某人，请在 url filters.json?

中详细了解它的用法以及如何配置它

Answer 1

过滤器可以在 urlfilters.json 中配置，就像任何其他过滤器一样，即

 {
  "class": "com.digitalpebble.stormcrawler.filtering.regex.FastURLFilter",
  "name": "FastURLFilter",
  "params": {
    "file": "fast.urlfilter.json"
  }
}

文件参数是可选的，默认采用上面给出的值。

详情见JAVADOC, BLOG and WIKI。