django 中的 robots.txt 警告是什么,建议如何处理?

what is robots.txt warning in django and advise to handle this?

我是本地主机(开发机器)上的 运行 Django,我在调试控制台中遇到了这个:

Not Found: /robots.txt
2018-03-20 22:58:03,173 WARNING Not Found: /robots.txt
[20/Mar/2018 22:58:03] "GET /robots.txt HTTP/1.1" 404 18566

这个是什么意思,有没有什么建议处理这个对。也在生产服务器上。

robots.txt 是一个用于管理爬行机器人(例如 google 这样的搜索索引机器人)行为的文件。它决定了哪些 paths/files 机器人应该包含在它的结果中。如果搜索引擎优化之类的事情与您无关,请不要担心。

如果您愿意,您可能希望使用 robots.txt 文件管理的 django 本机实现,例如 this

robots.txt 是网络爬虫(例如搜索引擎使用的网络爬虫)的标准,告诉它们应该为哪些页面编制索引。

要解决此问题,您可以静态托管自己的 robots.txt 版本,或使用 django-robots.

等软件包

除非您或您的浏览器试图明确访问它,否则您会在开发过程中看到错误,这很奇怪。

在生产环境中,如果您关心 SEO,您可能还想为每个搜索引擎设置网站管理员工具,例如:Google Webmaster Tools

https://en.wikipedia.org/wiki/Robots_exclusion_standard

https://support.google.com/webmasters/answer/6062608?hl=en

robots.txt文件是机器人排除标准,请参阅THIS 获取更多信息。

这是 Google 的 robots.txt 的示例:https://www.google.com/robots.txt

有关如何设置的好示例,请使用 What are recommended directives for robots.txt in a Django application? 作为参考。