清漆缓存爬虫请求?

Varnish cache crawler request?

我有一个关于 Varnish 的问题。我知道 Varnish 会在用户第一次访问网页时缓存网页,并将缓存提供给稍后访问该页面的下一个用户。

我的问题是,当像 GoogleBot 这样的网络爬虫来抓取该网页时,varnish 是否也会缓存该网页?

是的。除非另有配置,否则 Varnish 将像对待任何其他请求一样对待机器人请求。

这很有用,因为 Googlebot 可以为真实用户预热缓存。这也意味着 Googlebot 获得更快的服务器响应时间,这对您的网站很有好处。