排除共享 VPS 上的一个站点
Excluding one site on a shared VPS
我的服务器有多个网站，我只想阻止其中一个。我知道 robots.txt 接受以下内容：
User-agent: *
Disallow: /
为了阻止机器人抓取网站，但我阅读的文章中有歧义的语言。有人说这会阻止网站，有人说服务器。
如果这是在站点的根目录中，是否只会阻止该站点？这样做有更好的做法吗？
给定的 robots.txt 文件仅控制请求它的域和子域上的页面抓取。爬虫不知道也不关心不同的域是否托管在同一台物理服务器上。它们仍然是不同的领域。文件 http://aaa.com/robots.txt applies only to pages on http://aaa.com/, and http://bbb.com/robots.txt applies only to pages on http://bbb.com/。它们可以托管在同一台物理机器上，也可以托管在世界两端的不同服务器上。
我的服务器有多个网站，我只想阻止其中一个。我知道 robots.txt 接受以下内容：
User-agent: *
Disallow: /
为了阻止机器人抓取网站，但我阅读的文章中有歧义的语言。有人说这会阻止网站，有人说服务器。
如果这是在站点的根目录中，是否只会阻止该站点？这样做有更好的做法吗？
给定的 robots.txt 文件仅控制请求它的域和子域上的页面抓取。爬虫不知道也不关心不同的域是否托管在同一台物理服务器上。它们仍然是不同的领域。文件 http://aaa.com/robots.txt applies only to pages on http://aaa.com/, and http://bbb.com/robots.txt applies only to pages on http://bbb.com/。它们可以托管在同一台物理机器上，也可以托管在世界两端的不同服务器上。