如何使用 Google Search Console 强制重新索引错误的 robots.txt 页面?
How can I force a reindexing of a bad robots.txt page with Google Search Console?
我的问题
所以我最近在 robots.txt
文件上犯了一个很大的错误。我添加了一行以防止数据文件被读取,目的是防止博客数据 .txt
文件被抓取:
Disallow: *.txt$
回过头来看,我应该做的是先包含一个目录:
Disallow: /blog/posts/*.txt$
但是,由于我未能做到这一点,Google 现在无法抓取我的 robots.txt
文件。
我现在已经修复了文件,但我无法让 Google Search Console 重新索引文件,因为它仍然认为不允许这样做。
我试过的
- 我试过在 GSC 中提取
/robots.txt
文件并手动重建索引,但没有成功。它给我的唯一信息是“robots.txt 不允许”
- 我试过从网站上删除
robots.txt
文件,在 GSC 中手动重新编制索引,希望它会意识到它已经消失并重新设置或进行其他操作。尽管如此,还是说该操作是“robots.txt 不允许的”
- 我也尝试过使用 robots.txt 测试工具 但因为它只适用于 URL-Prefix Properties 并且这是一个 域 属性 它不会出现在要测试的可用站点列表中。如果有人知道我可以使用此工具的方法(或暂时将我的 属性 转换为 URL-前缀 属性),仍然可以是一个解决方案。
我的目标
我真的很想以某种方式在 GSC 的索引中重置我的 robots.txt
文件。任何和所有建议将不胜感激。
希望我把问题描述的足够清楚。如果您需要更多信息或上下文,请告诉我,我将非常乐意更新 post.
谢谢!
所以,多亏了 Google Search Console Forums 的 Barry Hunter,我才能够解决这个问题。我无法想象这是很多人都会遇到的问题,但以防万一,这里是解决方案。
- 转到 Google Search Console 并添加新的 URL-前缀 属性(除非您已经拥有 属性 设置为 URL-前缀 属性 在这种情况下跳到步骤 3)
- 使用与您的 域 属性 相同的域创建其中两个属性。一种是“http://”,另一种是“https://”。他们将自动验证您已经声明了 域 属性.
的所有权
- 转到 Google Search Console robots.txt 测试工具。
- Select 您的 URL-前缀属性之一和
robots.txt
文档的最后一个索引版本将打开。
- 编辑文本以更正错误并点击提交。然后,按照对话框中显示的步骤进行操作。
- 重新加载页面,如果更改卡住,您就可以开始了。对您的另一个 属性 重复第 4 步,然后再次尝试在 GSC 上加载 URL。
我的问题
所以我最近在 robots.txt
文件上犯了一个很大的错误。我添加了一行以防止数据文件被读取,目的是防止博客数据 .txt
文件被抓取:
Disallow: *.txt$
回过头来看,我应该做的是先包含一个目录:
Disallow: /blog/posts/*.txt$
但是,由于我未能做到这一点,Google 现在无法抓取我的 robots.txt
文件。
我现在已经修复了文件,但我无法让 Google Search Console 重新索引文件,因为它仍然认为不允许这样做。
我试过的
- 我试过在 GSC 中提取
/robots.txt
文件并手动重建索引,但没有成功。它给我的唯一信息是“robots.txt 不允许” - 我试过从网站上删除
robots.txt
文件,在 GSC 中手动重新编制索引,希望它会意识到它已经消失并重新设置或进行其他操作。尽管如此,还是说该操作是“robots.txt 不允许的” - 我也尝试过使用 robots.txt 测试工具 但因为它只适用于 URL-Prefix Properties 并且这是一个 域 属性 它不会出现在要测试的可用站点列表中。如果有人知道我可以使用此工具的方法(或暂时将我的 属性 转换为 URL-前缀 属性),仍然可以是一个解决方案。
我的目标
我真的很想以某种方式在 GSC 的索引中重置我的 robots.txt
文件。任何和所有建议将不胜感激。
希望我把问题描述的足够清楚。如果您需要更多信息或上下文,请告诉我,我将非常乐意更新 post.
谢谢!
所以,多亏了 Google Search Console Forums 的 Barry Hunter,我才能够解决这个问题。我无法想象这是很多人都会遇到的问题,但以防万一,这里是解决方案。
- 转到 Google Search Console 并添加新的 URL-前缀 属性(除非您已经拥有 属性 设置为 URL-前缀 属性 在这种情况下跳到步骤 3)
- 使用与您的 域 属性 相同的域创建其中两个属性。一种是“http://”,另一种是“https://”。他们将自动验证您已经声明了 域 属性. 的所有权
- 转到 Google Search Console robots.txt 测试工具。
- Select 您的 URL-前缀属性之一和
robots.txt
文档的最后一个索引版本将打开。 - 编辑文本以更正错误并点击提交。然后,按照对话框中显示的步骤进行操作。
- 重新加载页面,如果更改卡住,您就可以开始了。对您的另一个 属性 重复第 4 步,然后再次尝试在 GSC 上加载 URL。