如何避免被 Google crawled/penalized

How to avoid being crawled/penalized by Google

概览

我想在使用真实域名的生产服务器上使用随机数据测试一些 Django 网站,但这些网站将是使用可能重复数据的简单测试(很可能不遵循 Google 规则)。我知道你通常为此使用 development/staging/virtual 框来完成这样的任务,但我确实想直接使用带有真实 DNS 的生产框。

现在,我对网站开发和 SEO 有点陌生,我不想搞乱 SEO 和 Google。

在这里进行的正确方法是什么?我应该尽量避免以某种方式成为 Google 的 indexed/crawled 吗?还有其他建议吗?

您可以禁止将您的页面完全编入索引,然后稍后(当您完成编码时)再次激活它。

这可能是最好的方法,因为 google 不会抓取 "bad pages"(例如,当您的网站仍在开发中时),因此到目前为止您不会获得排名(称为页面如果你想查找它,请排名)。