为什么 Google robots.txt Tester 有错误且无效
Why Google robots.txt Tester has error and it's not valid
如下图所示 Google WebMaster Tools robots.txt 测试人员告诉我 9 个错误，但我不知道如何修复它问题是什么？
请帮我想想办法
这是一个有效的 robots.txt - 但您在文本文件的开头有一个 UTF-8 BOM (\xef\xbb\xbf)。这就是为什么第一行 'User' 旁边有一个红点。此标记告诉浏览器和文本编辑器将文件解释为 UTF-8，而 robots.txt 应仅使用 ASCII 字符。
将您的文本文件转换为 ASCII，错误就会消失。或复制红点后的所有内容，然后再次尝试粘贴。
我在在线版本上测试了这个，这是从字节形式翻译的结果：
\xef\xbb\xbfUser-agent: *\r\nDisallow: /en/news/iranology/\r\nDisallow:
/en/tours-services/tour-the-soul-of-iran\r\nDisallow:
/en/tours-services/tour-a-whistle-stop-tour\r\nDisallow: /en/to
一开始就可以清楚的看到BOM。浏览器和文本编辑器会忽略它，但它可能会扰乱爬虫解析 robots.txt 的能力。您可以使用此 python 脚本测试实时版本：
import urllib.request
text = urllib.request.urlopen('http://www.best-iran-trip.com/robots.txt')
print(repr(text.read()))
如果您能够安装 Notepad++，它实际上有一个编码菜单，可以让您以任何格式保存它。
您可以使用网站管理员面板工具
https://www.google.com/webmasters/tools/robots-testing-tool
并测试您的机器人文件，然后下载它
它工作正常。
如下图所示 Google WebMaster Tools robots.txt 测试人员告诉我 9 个错误，但我不知道如何修复它问题是什么？
请帮我想想办法
这是一个有效的 robots.txt - 但您在文本文件的开头有一个 UTF-8 BOM (\xef\xbb\xbf)。这就是为什么第一行 'User' 旁边有一个红点。此标记告诉浏览器和文本编辑器将文件解释为 UTF-8，而 robots.txt 应仅使用 ASCII 字符。
将您的文本文件转换为 ASCII，错误就会消失。或复制红点后的所有内容，然后再次尝试粘贴。
我在在线版本上测试了这个，这是从字节形式翻译的结果：
\xef\xbb\xbfUser-agent: *\r\nDisallow: /en/news/iranology/\r\nDisallow:
/en/tours-services/tour-the-soul-of-iran\r\nDisallow:
/en/tours-services/tour-a-whistle-stop-tour\r\nDisallow: /en/to
一开始就可以清楚的看到BOM。浏览器和文本编辑器会忽略它，但它可能会扰乱爬虫解析 robots.txt 的能力。您可以使用此 python 脚本测试实时版本：
import urllib.request
text = urllib.request.urlopen('http://www.best-iran-trip.com/robots.txt')
print(repr(text.read()))
如果您能够安装 Notepad++，它实际上有一个编码菜单，可以让您以任何格式保存它。
您可以使用网站管理员面板工具 https://www.google.com/webmasters/tools/robots-testing-tool 并测试您的机器人文件，然后下载它
它工作正常。