Googlebot 请求类型
Googlebot request types
Google 的 bot 是否发送 HEAD 请求以及 GET 请求？
我对此感到疑惑，因为我是 运行 一个不支持 HEAD 请求的 Tornado 应用程序，并且我在 Google 中有 很多 404 错误] 搜索控制台。
为了验证 Tornado 应用程序不接受 HEAD 请求，我这样做了：
curl -I example.com/this-url-exists
HTTP/1.1 404 Not Found
Date: Thu, 10 Mar 2016 08:49:07 GMT
Content-Type: text/html; charset=UTF-8
Content-Length: 7520
Connection: close
X-Ua-Compatible: IE=edge,chrome=1
Server: TornadoServer/4.2.1
我怀疑 Google 机器人正在对某些爬行执行相同的操作。
这样可以吗？
据我所知，Googlebot 不发送 HEAD 请求（其他主要搜索引擎的抓取工具也不发送）。但无论哪种方式，这个404都不是请求是HEAD引起的：将HEAD发送到不支持它的资源returns状态码405，而不是404。
Google 的 bot 是否发送 HEAD 请求以及 GET 请求？
我对此感到疑惑，因为我是 运行 一个不支持 HEAD 请求的 Tornado 应用程序，并且我在 Google 中有 很多 404 错误] 搜索控制台。
为了验证 Tornado 应用程序不接受 HEAD 请求，我这样做了：
curl -I example.com/this-url-exists
HTTP/1.1 404 Not Found
Date: Thu, 10 Mar 2016 08:49:07 GMT
Content-Type: text/html; charset=UTF-8
Content-Length: 7520
Connection: close
X-Ua-Compatible: IE=edge,chrome=1
Server: TornadoServer/4.2.1
我怀疑 Google 机器人正在对某些爬行执行相同的操作。
这样可以吗？
据我所知，Googlebot 不发送 HEAD 请求（其他主要搜索引擎的抓取工具也不发送）。但无论哪种方式，这个404都不是请求是HEAD引起的：将HEAD发送到不支持它的资源returns状态码405，而不是404。