robots.txt 除灯塔外全部屏蔽
robots.txt block all except lighthouse
我有一个暂存站点,我希望能够通过 google 灯塔进行测试 - 但不希望 google 对其建立索引。
当我使用这个时:
User-agent: *
Disallow: /
灯塔和 google 被封锁。
我认为 lighthouse (source) 的用户代理是 "Chrome-Lighthouse",但我不确定如何编写 robot.txt.
的语法
有什么建议吗?
谢谢dbclink给了我答案
useragent: *
disallow= /
useragent: Chrome-Lighthouse
allow= /
根据评论应该是:
User-agent: *
Disallow: /
User-agent: Chrome-Lighthouse
Allow: /
我有一个暂存站点,我希望能够通过 google 灯塔进行测试 - 但不希望 google 对其建立索引。
当我使用这个时:
User-agent: *
Disallow: /
灯塔和 google 被封锁。
我认为 lighthouse (source) 的用户代理是 "Chrome-Lighthouse",但我不确定如何编写 robot.txt.
的语法有什么建议吗?
谢谢dbclink给了我答案
useragent: *
disallow= /
useragent: Chrome-Lighthouse
allow= /
根据评论应该是:
User-agent: *
Disallow: /
User-agent: Chrome-Lighthouse
Allow: /