robots.txt allows & disallows 几个页面，这对其他页面意味着什么？
robots.txt allows & disallows few pages, what does it mean for other pages?
我正在浏览许多网站的 robots.txt 文件，以检查是否可以抓取某些特定页面。当我看到以下模式时 -
用户代理：*
允许：/some-page
不允许：/some-other-page
robots.txt 文件中没有其他内容。这是否意味着给定网站上的所有其他剩余页面都可以被抓取？
P.S。 - 我尝试用谷歌搜索这个具体案例，但没有成功。
据此 website, Allow is used to a allow a directory when it's parent may be disallowed. I found this website 也很有用。
Disallow: The command used to tell a user-agent not to crawl particular URL. Only one "Disallow:" line is allowed for each URL.
Allow (Only applicable for Googlebot): The command to tell Googlebot it can access a page or subfolder even though its parent page or subfolder may be disallowed.
关于您的问题，如果其余页面未包含在 Disallow 目录中，您应该没问题。
我正在浏览许多网站的 robots.txt 文件，以检查是否可以抓取某些特定页面。当我看到以下模式时 -
用户代理：*
允许：/some-page
不允许：/some-other-page
robots.txt 文件中没有其他内容。这是否意味着给定网站上的所有其他剩余页面都可以被抓取？
P.S。 - 我尝试用谷歌搜索这个具体案例，但没有成功。
据此 website, Allow is used to a allow a directory when it's parent may be disallowed. I found this website 也很有用。
Disallow: The command used to tell a user-agent not to crawl particular URL. Only one "Disallow:" line is allowed for each URL.
Allow (Only applicable for Googlebot): The command to tell Googlebot it can access a page or subfolder even though its parent page or subfolder may be disallowed.
关于您的问题，如果其余页面未包含在 Disallow 目录中，您应该没问题。