Robots.txt 与目录中的不同
Robots.txt different from the one in directory
我不明白为什么 Google 将我的 robots.txt 文件读取为 Disallow: /。
这是我在主根目录中的 robots.txt 文件中的内容：
User-agent: *
Allow: /
但是如果我在浏览器中输入数字，它会显示 Disallow: /: http://revita.hr/robots.txt
我什么都试过了，提交站点地图，添加元机器人索引，关注<head>，但总是一样。
有什么想法吗？
如果通过 HTTPS (→ Allow) 而不是 HTTP (→ Disallow) 访问它，你似乎有一个不同的 robots.txt 文件。
顺便说一句，你不需要声明
User-agent: *
Allow: /
因为允许所有内容是默认设置。由于 Allow 不是原始 robots.txt 规范的一部分，您可能想改用它：
User-agent: *
Disallow:
另请注意，记录中不应有空行。
我不明白为什么 Google 将我的 robots.txt 文件读取为 Disallow: /。
这是我在主根目录中的 robots.txt 文件中的内容：
User-agent: *
Allow: /
但是如果我在浏览器中输入数字，它会显示 Disallow: /: http://revita.hr/robots.txt
我什么都试过了，提交站点地图，添加元机器人索引，关注<head>，但总是一样。
有什么想法吗？
如果通过 HTTPS (→ Allow) 而不是 HTTP (→ Disallow) 访问它，你似乎有一个不同的 robots.txt 文件。
顺便说一句，你不需要声明
User-agent: *
Allow: /
因为允许所有内容是默认设置。由于 Allow 不是原始 robots.txt 规范的一部分，您可能想改用它：
User-agent: *
Disallow:
另请注意，记录中不应有空行。