要求搜索引擎不要重新索引未更改的页面

asking search engine to not re-index an unchanged page

我想通过在站点地图中标记已编入索引且未更改的页面来减少搜索引擎抓取工具造成的负载。

这将减少我们网站上每次重新编入索引的超过 200 万个页面中的大约 95%。

我在 google 站点地图文档中没有找到这样的选项。 我假设搜索引擎想要重新索引每个页面,即使该网站 说它没有改变,因为它不盲目相信该网站提供准确的信息。

搜索引擎可能(不是必须)用来决定抓取哪些文档的时间或频率的Sitemaps protocol defines three XML elements

  • changefreq

    How frequently the page is likely to change.

  • lastmod

    The date of last modification of the file.

  • priority

    The priority of this URL relative to other URLs on your site.

Webmasters SE 可能有助于了解搜索引擎是否或哪些搜索引擎以何种方式支持这些。)