Robots.txt 无法定位

Question

我目前运行一个网站 (http://www.agents-world.com/) 由来自 heroku 主机的 node.js 提供服务。问题是 robots.txt 无论我做什么都找不到。我想知道 heroku 是否正在缓存某些东西，或者更普遍地说，是否没有部署该文件。

我对应用程序进行了更改，所以我知道 Heroku 部署了最新版本。

我希望在此处看到 robots.txt 文件的内容 http://www.agents-world.com/robots.txt

有什么想法吗？

Answer 1

您似乎没有指向 robots.txt 的路线。

您必须提供此特定文件，例如使用 Express 路由：

app.get("/robots.txt", function(req, res){
    res.sendFile(path.resolve("PATH_TO_ROBOTS.TXT"));
});

Robots.txt cannot be located