robots.txt - noindex 图像，noindex 管理员 - wordpress
robots.txt - noindex images, noindex admin - wordpress
我目前使用的 robots.txt 文件不允许为我的 WP Admin 编制索引。目前我的机器人文件如下所示：
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
我希望搜索引擎也停止索引我的图片。这些是我的私人投资组合图片，我不希望它们出现在任何在线搜索中。
所以我将添加对 Google Image bot 和 Bing bot 的限制。我的 Robots.txt 文件现在看起来像这样：
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
User-agent: Googlebot-Image
Disallow: /
User-agent: msnbot-media
Disallow: /
这样写对吗？
还有其他建议吗？我应该包括任何其他图像机器人吗？
您当前的布局是正确的，但有一种包罗万象的方法可以阻止机器人抓取您的图片。
鉴于您使用的是 WordPress，我假设您使用的是普通文件上传结构，这意味着您还可以将以下内容添加到 robots.txt:
User-agent: *
Disallow: /wp-content/uploads/
我建议您将此功能与您当前拥有的内容结合使用，因为它只会阻止位于您的上传文件夹中的图像。这不适用于直接在您的主题文件或插件内容等中的图像。
您的完整列表如下所示：
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
User-agent: Googlebot-Image
Disallow: /
User-agent: msnbot-media
Disallow: /
这条路线起初可能看起来很原始，但请记住那里有 hundreds of crawlers。为它们中的每一个创建一个规则可能会引起相当严重的头痛。
通过屏蔽 99.9% 的图像所在的位置，您无需列出您可以找到的每个抓取工具，并且还可以确保任何 new 抓取工具如果他们遵守您的 robots.txt 文件，则会立即添加到列表中。
在这一点上，还值得一提的是，有相当多的网络爬虫完全忽略了您的机器人文件。
我目前使用的 robots.txt 文件不允许为我的 WP Admin 编制索引。目前我的机器人文件如下所示：
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
我希望搜索引擎也停止索引我的图片。这些是我的私人投资组合图片，我不希望它们出现在任何在线搜索中。
所以我将添加对 Google Image bot 和 Bing bot 的限制。我的 Robots.txt 文件现在看起来像这样：
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
User-agent: Googlebot-Image
Disallow: /
User-agent: msnbot-media
Disallow: /
这样写对吗？ 还有其他建议吗？我应该包括任何其他图像机器人吗？
您当前的布局是正确的，但有一种包罗万象的方法可以阻止机器人抓取您的图片。
鉴于您使用的是 WordPress，我假设您使用的是普通文件上传结构，这意味着您还可以将以下内容添加到 robots.txt:
User-agent: *
Disallow: /wp-content/uploads/
我建议您将此功能与您当前拥有的内容结合使用，因为它只会阻止位于您的上传文件夹中的图像。这不适用于直接在您的主题文件或插件内容等中的图像。
您的完整列表如下所示：
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
User-agent: Googlebot-Image
Disallow: /
User-agent: msnbot-media
Disallow: /
这条路线起初可能看起来很原始，但请记住那里有 hundreds of crawlers。为它们中的每一个创建一个规则可能会引起相当严重的头痛。
通过屏蔽 99.9% 的图像所在的位置，您无需列出您可以找到的每个抓取工具，并且还可以确保任何 new 抓取工具如果他们遵守您的 robots.txt 文件，则会立即添加到列表中。
在这一点上，还值得一提的是，有相当多的网络爬虫完全忽略了您的机器人文件。