阻止某些地址被抓取 Robots.txt

Block certain Addresses from being Crawled Robots.txt

有人要求我(为了改善 SEO 结果)从 Robots.txt 中删除某个网址。

我正在努力(SEO 不是我的强项)找出如何阻止某个域,即使两个地址都指向同一个网站。

例如:

http://foo.example.com -- 我需要停止索引的网址
http://www.examplefoo.com -- 我要索引的网址

据我所知,使用禁止 / 只会阻止两者(因为它们是同一站点)

有什么帮助吗?!对不起,如果这是一个愚蠢的问题..

第一步: 如果您的第一个域在上,您应该将其重定向到您的第二个域。

示例(宽度 htaccess):

RewriteCond %{HTTP_HOST} ^www.xxx.ir$ [NC,OR]

RewriteCond %{HTTP_HOST} ^xxx.ir$ [NC,OR]

RewriteCond %{HTTP_HOST} ^yyy.com$ [NC]

RewriteRule ^(.*)$ http://www.yyy.com/ [R=301,L]

第 2 步: 您应该通过删除网站管理员工具中的网址(所有目录)

来删除所有网址(来自第一个域)

祝你好运