Robots.txt：不允许文件夹名称，无论它可能出现在哪个深度
Robots.txt: disallow a folder's name, regardless at which depth it may show up
所以我必须禁止搜索引擎索引我们的 REST 网络服务响应（这是一个 Sitecore 网站）；它们在 URL 中都有相同的名称，但在服务器层次结构中显示在不同级别，我想知道我是否可以在我们的机器人文件中写入一个 "catch all" 条目，或者我是否注定要写一份详尽的清单。
我可以添加类似的内容吗
Disallow: */ajax/*
捕获所有名为 "ajax" 的文件夹，无论它们出现在哪里？
您应该可以只使用 Disallow: /*ajax。类似的问题在这里：
How to disallow service api and multilingual urls in robots.txt
robots.txt 规范没有说明通配符，但 Google (Google Robots.txt Specifications) 和 Bing 允许在 robots.txt 文件中使用通配符。
Disallow: */ajax/*
无论 /ajax/.
的嵌套级别如何，您的 disallow 对所有 /ajax/ url 都有效
所以我必须禁止搜索引擎索引我们的 REST 网络服务响应（这是一个 Sitecore 网站）；它们在 URL 中都有相同的名称，但在服务器层次结构中显示在不同级别，我想知道我是否可以在我们的机器人文件中写入一个 "catch all" 条目，或者我是否注定要写一份详尽的清单。
我可以添加类似的内容吗
Disallow: */ajax/*
捕获所有名为 "ajax" 的文件夹，无论它们出现在哪里？
您应该可以只使用 Disallow: /*ajax。类似的问题在这里：
How to disallow service api and multilingual urls in robots.txt
robots.txt 规范没有说明通配符，但 Google (Google Robots.txt Specifications) 和 Bing 允许在 robots.txt 文件中使用通配符。
Disallow: */ajax/*
无论 /ajax/.
disallow 对所有 /ajax/ url 都有效