robots.txt：网站仍未显示在 Google

Question

我有以下robots.txt

User-Agent: *
Disallow: 

User-Agent: Googlebot
Allow: /

禁止除 Google 之外的所有机器人。我上周做了这个更改，当我在 Google 中搜索我的域名时，我仍然得到 A description for this result is not available because of this site's robots.txt。难道我做错了什么？ Google 多久访问一个域

Answer 1

您的 robots.txt 没有按照您的意愿行事（但这与您提到的问题无关）。

如果您想禁止抓取除 "googlebot" 之外的每个机器人，您需要使用此 robots.txt:

User-agent: googlebot
Disallow: 

User-agent: *
Disallow: /

Disallow: / 表示：不允许每个 URL
Disallow: 表示：不允许任何事情（即允许一切）

针对您的问题：Google 抓取的频率没有明确的答案。这取决于不同的、对我们来说无法计算的因素。不得不等待一两个星期并不罕见。

robots.txt：网站仍未显示在 Google

robots.txt: Site still not showing up in Google

robots.txt