我如何告诉 google 不要完全抓取域
How do i tell google to not crawl a domain completly
我在 opencart 中有一个网站说 abc.com 我用它开了一家多商店 xyz.com 我发现 google 也开始抓取 xyz.com我不想要。
这两个域都指向同一个目录，所以我想只能有一个 robots.txt 文件。我对 google 网站管理员或 SEO 不是很有经验，所以请告诉我如何让 google 忽略所有以 xyz.com 开头的网址。
如果您使用的是 Apache 和 mod_rewrite，您可以添加重写规则以服务不同的 robots.txt xyz.com 的文件：
RewriteCond %{HTTP_HOST} xyz.com$ [NC]
RewriteRule ^robots.txt robots_xyz.txt [L]
然后创建robots_xyz.txt:
User-agent: *
Disallow: /
我在 opencart 中有一个网站说 abc.com 我用它开了一家多商店 xyz.com 我发现 google 也开始抓取 xyz.com我不想要。
这两个域都指向同一个目录，所以我想只能有一个 robots.txt 文件。我对 google 网站管理员或 SEO 不是很有经验，所以请告诉我如何让 google 忽略所有以 xyz.com 开头的网址。
如果您使用的是 Apache 和 mod_rewrite，您可以添加重写规则以服务不同的 robots.txt xyz.com 的文件：
RewriteCond %{HTTP_HOST} xyz.com$ [NC]
RewriteRule ^robots.txt robots_xyz.txt [L]
然后创建robots_xyz.txt:
User-agent: *
Disallow: /