如何使用 Google Search Console 强制重新索引错误的 robots.txt 页面?

How can I force a reindexing of a bad robots.txt page with Google Search Console?

我的问题

所以我最近在 robots.txt 文件上犯了一个很大的错误。我添加了一行以防止数据文件被读取,目的是防止博客数据 .txt 文件被抓取:

Disallow: *.txt$

回过头来看,我应该做的是先包含一个目录:

Disallow: /blog/posts/*.txt$

但是,由于我未能做到这一点,Google 现在无法抓取我的 robots.txt 文件。

我现在已经修复了文件,但我无法让 Google Search Console 重新索引文件,因为它仍然认为不允许这样做。

我试过的

我的目标

我真的很想以某种方式在 GSC 的索引中重置我的 robots.txt 文件。任何和所有建议将不胜感激。

希望我把问题描述的足够清楚。如果您需要更多信息或上下文,请告诉我,我将非常乐意更新 post.

谢谢!

所以,多亏了 Google Search Console Forums 的 Barry Hunter,我才能够解决这个问题。我无法想象这是很多人都会遇到的问题,但以防万一,这里是解决方案。

  1. 转到 Google Search Console 并添加新的 URL-前缀 属性(除非您已经拥有 属性 设置为 URL-前缀 属性 在这种情况下跳到步骤 3)
  2. 使用与您的 域 属性 相同的域创建其中两个属性。一种是“http://”,另一种是“https://”。他们将自动验证您已经声明了 域 属性.
  3. 的所有权
  4. 转到 Google Search Console robots.txt 测试工具。
  5. Select 您的 URL-前缀属性之一和 robots.txt 文档的最后一个索引版本将打开。
  6. 编辑文本以更正错误并点击提交。然后,按照对话框中显示的步骤进行操作。
  7. 重新加载页面,如果更改卡住,您就可以开始了。对您的另一个 属性 重复第 4 步,然后再次尝试在 GSC 上加载 URL。