不要将 Google 搜索中的某些页面编入索引
Do not index certain pages on Google Search
是否可以不为 Google 搜索中的某些页面编制索引？
我正在使用 WordPress。我听说 robots.txt 可以防止机器人抓取您的网站，但这与索引一样吗？甚至有可能吗？
Web Robots (also known as Web Wanderers, Crawlers, or Spiders), are
programs that traverse the Web automatically. Search engines such as
Google use them to index the web content, spammers use them to scan
for email addresses, and they have many other uses.
从整个服务器中排除所有机器人
User-agent: *
Disallow: /
从部分服务器中排除所有机器人
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
是否可以不为 Google 搜索中的某些页面编制索引？
我正在使用 WordPress。我听说 robots.txt 可以防止机器人抓取您的网站，但这与索引一样吗？甚至有可能吗？
Web Robots (also known as Web Wanderers, Crawlers, or Spiders), are programs that traverse the Web automatically. Search engines such as Google use them to index the web content, spammers use them to scan for email addresses, and they have many other uses.
从整个服务器中排除所有机器人
User-agent: *
Disallow: /
从部分服务器中排除所有机器人
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/