爬虫是否会在删除后重新索引记录

Question

正在使用 Storm Crawler 1.12.1 和 Elastic Search 6.5.2。我需要提高搜索引擎的效率。在将文档索引到弹性搜索中后，出于安全原因，我删除了一些文档。所以我的问题是风暴爬虫会重新抓取删除的url并重新索引吗？我不想重新抓取已删除的记录，我该如何实现？

Answer 1

我假设您从内容索引中删除了文档。它们可能仍在状态索引中，即使不在状态索引中，它们也可能会被重新发现并重新添加。

最好的办法是将新条目添加到您正在使用的任何类型的 URL 过滤器中，以便覆盖这些 URL，这样如果重新发现它们就不会被添加回来，然后将它们从状态索引中删除。