GWT 说 robots.txt 正在阻塞资源——我的还是他们的？

Question

在 Google 网站管理员工具中，当我 'Fetch as Google' 它告诉我有 2 个被阻止的资源被 robots.txt:

• https://dash.reviews.co.uk/[cut]
• https://googleads.g.doubleclick.net/[cut]

但我看不到这些在我的 robots.txt 中是如何被阻止的，其中包含以下内容：

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /category/
Disallow: /tag/
Disallow: /tools/

有什么线索吗？

Answer 1

您不必担心这些资源被阻止，因为它们位于您无法控制的域中，并且被他们的 robots.txt 文件阻止。

Google 网站站长工具向您显示，对于您让其获取的页面，它无法看到相当常见的所有资源。 Google 和许多大型网站 robots.txt 他们的许多资源。 （DoubleClick 是 Google 拥有的 属性）

只要您在 "fetch and render" 状态良好时可以看到全部内容。