Robots.txt 允许 URL 如果它以某物结尾
Robots.txt allow URL if it ends with something
我有用户创建的 URL，它们都以 /post 结尾。我希望能够让搜索引擎抓取这些 URL。我不允许所有其他 URL。以下是一些示例：
www.website.com/john-smith/my-blog/post
www.website.com/jim-thomas/my-skiing-blog/post
www.website.com/matt-jones/blog-about-gaming/post
我该怎么做？谢谢
解决方法其实很简单：
Allow: /post$
我有用户创建的 URL，它们都以 /post 结尾。我希望能够让搜索引擎抓取这些 URL。我不允许所有其他 URL。以下是一些示例：
www.website.com/john-smith/my-blog/post
www.website.com/jim-thomas/my-skiing-blog/post
www.website.com/matt-jones/blog-about-gaming/post
我该怎么做？谢谢
解决方法其实很简单：
Allow: /post$