这个带有空 "Disallow:" 的 robots.txt 语法是否正确？

Question

今天，在改进我的网络爬虫以支持 robots.txt 标准时，我在 http://www.w3schools.com/robots.txt

处遇到了以下代码

User-agent: Mediapartners-Google 
Disallow: 

这个语法正确吗？根据预期目的，它不应该是 Disallow: / 或 Allow: / 吗？

Answer 1

Disallow:

将允许一切，如愿：

Allow: /

您要么什么都不允许，要么什么都允许。