robots.txt 内容/硒网页抓取

Question

我正在尝试运行使用 selenium

进行网页抓取

这个robot.txt内容是什么意思？

User-Agent: *
Disallow: /go/
Disallow: /launch-announcement/

我可以运行在除 go 和 launch-announcement 之外的所有文件夹中进行网络抓取吗？

Answer 1

什么是 robots.txt 文件？

Robots.txt 是网站管理员创建的文本文件，用于指示网络机器人（通常是搜索引擎机器人）如何抓取其网站上的页面。 robots.txt 文件是机器人排除协议 (REP) 的一部分，这是一组网络标准，用于规范机器人如何抓取网络、访问和索引内容以及为用户提供该内容。 REP 还包括元机器人等指令，以及关于搜索引擎应如何处理链接（例如“follow”或“nofollow”）的页面、子目录或站点范围的说明。

实际上，robots.txt 文件指示某些用户代理（网络抓取软件）是否可以抓取网站的某些部分。这些爬行指令通过“不允许”或“允许”某些（或所有）用户代理的行为来指定。 view more...

Disallow: 告诉机器人它不应访问网站上提到的页面。

我可以运行在除 go 和 launch-announcement 之外的所有文件夹中抓取网页吗？

是的你可以抓取除这两个之外的其他页面。

Answer 2

根据basic robots.txt guide，规则-

User-Agent: *
Disallow: /go/
Disallow: /launch-announcement/

表示/go/和/launch-announcement/（及其子目录）对于所有用户代理是不允许的。

robots.txt 内容/硒网页抓取

robots.txt content / selenium web scraping

robots.txt