使用 robots.txt 从搜索引擎中屏蔽 100 条 url
Block 100s of url from search engine using robots.txt
我的网站上有大约 100 页我不想在 google 中编入索引...有什么方法可以使用 robots.txt 阻止它吗..它'编辑每个页面并添加 noindex 元标记非常烦人....
我想阻止的所有网址都像...
www.example.com/index-01.html
www.example.com/index-02.html
www.example.com/index-03.html
www.example.com/index-04.html
.
。
.
.
www.example.com/index-100.html
不确定，但添加类似以下的内容是否有效？
User-Agent: *
Disallow: /index-*.html
Yes it will work using wildcard
Ref : "https://geoffkenyon.com/how-to-use-wildcards-robots-txt"
我的网站上有大约 100 页我不想在 google 中编入索引...有什么方法可以使用 robots.txt 阻止它吗..它'编辑每个页面并添加 noindex 元标记非常烦人....
我想阻止的所有网址都像...
www.example.com/index-01.html
www.example.com/index-02.html
www.example.com/index-03.html
www.example.com/index-04.html .
。 . .
www.example.com/index-100.html
不确定，但添加类似以下的内容是否有效？
User-Agent: *
Disallow: /index-*.html
Yes it will work using wildcard
Ref : "https://geoffkenyon.com/how-to-use-wildcards-robots-txt"