如何通过 API 获取我的给定 URL 的 Google 的最后抓取日期

How to get Google's Last Crawl Date for a given URL of mine via the API

给定任何 URL 我“拥有”的网站,在 Google Search Console 中我可以查看此信息:

我对“上次抓取日期”特别感兴趣

如何使用 API(Search Console API 或网站站长工具 API)获得相同的信息?

你不能。不是通过 Google 搜索控制台 API、网站站长工具 API 或任何其他 Google API。我无法理解 Google 如何将他们的 API 设计得如此糟糕。提供对您可以通过同一服务的 UI 访问的功能的 100% 的访问权限,是 API 的第一大最基本要求,但他们甚至无法做到这一点。

this workaround(请求 https://webcache.googleusercontent.com/search?q=cache:<YOUR_URL>... 并抓取响应内容),但是您很快就会开始收到“429 太多请求”,所以它基本上没用,除非您只需要,我不知道,也许每隔几天就会有一个请求。

实际上,除了自己记录爬虫的访问(从用户代理字符串中识别它,可能通过反向查找或仅针对列表来验证 IP)之外,似乎没有任何其他方法。