使用 Robot.txt

Question

为什么我的网站上需要一个 Robot.txt 文件。我知道怎么用了，我想知道为什么用？

Answer 1

当然，您可以对 Google 做更多的研究来找到答案，但举个例子：

假设 Google 找到您在线发布的新网站并扫描您的所有页面以在其搜索索引中发布。您可能不希望 google 发布每个页面（例如子页面），因为您不希望用户直接从 google 访问它，而是通过主入口页面访问它。