https://developers.google.com/+/web/snippet/ 这是爬虫机器人吗

Question

当我们向用户发送 SMS 时，我看到来自此 Bot 的大量流量。我正在尝试获取有关此机器人的更多详细信息。任何描述它的作用、它的重要性以及我们可以阻止它的指针将不胜感激。完整的用户代理是

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36 Google (+https://developers.google.com/+/web/snippet/)

Answer 1

您可以在您的 nginx 配置上阻止 google 机器人。在 server{} 部分中，添加：

if ($http_user_agent ~* "developers\.google\.com/\+/web/snippet") {
    return 403;
}

Answer 2

Google 在 Android 上的 SMS 应用程序在抓取共享 URL 以在聊天中生成预览时使用此用户代理。这通常是一件好事，因为您的客户将看到预览图像和页面标题，而不仅仅是 link。所以我不建议阻止它。

https://developers.google.com/+/web/snippet/ 这是爬虫机器人吗

https://developers.google.com/+/web/snippet/ Is this a crawler bot

bots

googlebot