在我的 asp.net mvc 网站中创建 robots.txt 文件的最佳实践

Question

我想为我的 asp.net mvc-5 网站创建一个 robots.txt，现在我找到了这个 link，它谈到了完成这个任务：-

http://rehansaeed.com/dynamically-generating-robots-txt-using-asp-net-mvc/

在这个 link 中，他们正在创建一个单独的控制器和路由规则来构建 robots.txt , 所以我不确定为什么我不能只创建 robot.txt文件并将其添加到我的网站的根目录，如下所示：-:-

如果我导航到以下位置 URL http://www.mywebsite.com/robots.txt 将显示文本内容，而无需为此创建单独的控制器？

所以我的问题是将 robots.txt 直接添加到我的网站根目录是否有效，而不必在控制器和单独的路由规则中这样做，以使事情更简单？？

Answer 1

如果您需要动态生成内容，那么这是有道理的，因为它会给您这种能力。但除此之外，我在我的应用程序中使用 robots.txt 文件没有任何问题。

Answer 2

将 robots.txt 文件放置在 MVC 应用程序根目录中，如您的屏幕截图所示，与 Startup.cs 相同的位置，对我来说效果很好。

Answer 3

在我的网站上，asp net core 3.1，我只是使用了下面的简单操作：

    [Route("/robots.txt")]
    public ContentResult RobotsTxt()
    {
        var sb = new StringBuilder();
        sb.AppendLine("User-agent: *")
            .AppendLine("Disallow:")
            .Append("sitemap: ")
            .Append(this.Request.Scheme)
            .Append("://")
            .Append(this.Request.Host)
            .AppendLine("/sitemap.xml");

        return this.Content(sb.ToString(), "text/plain", Encoding.UTF8);
    }