正确的 robots.txt 结构？ （媒体维基）
Correct robots.txt structure? (Mediawiki)
我一直在查看不同站点的 robots.txt 文件，并在 MediaWiki 的 robots.txt 上偶然发现了一些我没想到的东西。根据我到目前为止所读的内容，您可以像下面这样写在 robots.txt 文件中：
Disallow: foo
Noindex: bar
然后我想知道是否：
Disallow: /wiki/Category:Noindexed_pages
robots.txt 文件中的结构是否正确，或者至少对于 mediawiki 而言是这样？还想知道 Noindexed_pages 可以是任何东西还是静态的。
最后一个代码取自 mediawiki's robots.txt 的维基百科文章。
/wiki/Category:Noindexed_pages 是一个 MediaWiki category page，它链接到不应被索引的页面。当搜索词是无索引页面标题的一部分时，该规则可能会阻止类别本身出现在搜索结果中。
我一直在查看不同站点的 robots.txt 文件，并在 MediaWiki 的 robots.txt 上偶然发现了一些我没想到的东西。根据我到目前为止所读的内容，您可以像下面这样写在 robots.txt 文件中：
Disallow: foo
Noindex: bar
然后我想知道是否：
Disallow: /wiki/Category:Noindexed_pages
robots.txt 文件中的结构是否正确，或者至少对于 mediawiki 而言是这样？还想知道 Noindexed_pages 可以是任何东西还是静态的。
最后一个代码取自 mediawiki's robots.txt 的维基百科文章。
/wiki/Category:Noindexed_pages 是一个 MediaWiki category page，它链接到不应被索引的页面。当搜索词是无索引页面标题的一部分时，该规则可能会阻止类别本身出现在搜索结果中。