Bing.com 索引我从未提交过的网址

Bing.com indexes URLs i've never submitted

有时,在启动新的 Web 项目之前,我会将站点/应用程序放在子域下,例如 new.domain.com 或 beta.domain.com。

这些网址仅供我的客户使用。所以它们不会被提交到搜索引擎,也没有任何 public 指向它们的链接。

但是,我在某些情况下注意到,这些子域无论如何都会被 Bing 编入索引。这怎么可能?

Bing 是否会抓取新的、旧的、存档的、测试版的...等通用子域名? 或者在邮件中发送的 URL,在 Office 365(我的客户使用的)中被抓取并被编入索引?

这可能是用户从该搜索引擎安装了工具栏。

防止这种情况的最好方法是为子域中的所有页面添加无索引标记,甚至您可以使用 robot.txt.

进行阻止