robots.txt 在 Laravel

robots.txt in Laravel

我只是想知道 robots.txt 文件是否应该像一般机器人 txt 文件一样工作。因此,例如,您键入 "disallow/admin/*" 将其放入根 Laravel 文件夹中,仅此而已。

是这样的吗?

请记住,该网站地址与 public 目录相关。所以, 如果你想让 robots.txtLaravel 中工作,它必须放在 public 文件夹中。

robots.txt是搜索机器人用来读取和抓取网站资源的特殊文件。

robots.txt 应该在网站的根目录。

根目录不同于 OS 和 OS。我给出了其中的一些。最好咨询您的服务器管理员。

示例:

/public_html
/htdocs
/html