阻止某些地址被抓取 Robots.txt
Block certain Addresses from being Crawled Robots.txt
有人要求我(为了改善 SEO 结果)从 Robots.txt 中删除某个网址。
我正在努力(SEO 不是我的强项)找出如何阻止某个域,即使两个地址都指向同一个网站。
例如:
http://foo.example.com -- 我需要停止索引的网址
http://www.examplefoo.com -- 我要索引的网址
据我所知,使用禁止 / 只会阻止两者(因为它们是同一站点)
有什么帮助吗?!对不起,如果这是一个愚蠢的问题..
第一步:
如果您的第一个域在上,您应该将其重定向到您的第二个域。
示例(宽度 htaccess):
RewriteCond %{HTTP_HOST} ^www.xxx.ir$ [NC,OR]
RewriteCond %{HTTP_HOST} ^xxx.ir$ [NC,OR]
RewriteCond %{HTTP_HOST} ^yyy.com$ [NC]
RewriteRule ^(.*)$ http://www.yyy.com/ [R=301,L]
第 2 步:
您应该通过删除网站管理员工具中的网址(所有目录)
来删除所有网址(来自第一个域)
祝你好运
有人要求我(为了改善 SEO 结果)从 Robots.txt 中删除某个网址。
我正在努力(SEO 不是我的强项)找出如何阻止某个域,即使两个地址都指向同一个网站。
例如:
http://foo.example.com -- 我需要停止索引的网址
http://www.examplefoo.com -- 我要索引的网址
据我所知,使用禁止 / 只会阻止两者(因为它们是同一站点)
有什么帮助吗?!对不起,如果这是一个愚蠢的问题..
第一步: 如果您的第一个域在上,您应该将其重定向到您的第二个域。
示例(宽度 htaccess):
RewriteCond %{HTTP_HOST} ^www.xxx.ir$ [NC,OR]
RewriteCond %{HTTP_HOST} ^xxx.ir$ [NC,OR]
RewriteCond %{HTTP_HOST} ^yyy.com$ [NC]
RewriteRule ^(.*)$ http://www.yyy.com/ [R=301,L]
第 2 步: 您应该通过删除网站管理员工具中的网址(所有目录)
来删除所有网址(来自第一个域)祝你好运