Scrapy 和可用的可能性

Question

我正在研究网络抓取/爬行的可能性，并且一直在阅读 Scrapy 程序。我想知道是否有人知道是否可以在脚本中输入指令，以便一旦它访问了 url，它就可以从网站上的日历中选择预先 select 的日期。 ？ 最终结果是用于在 Trivago 等网站上进行价格比较。我希望我能让程序达到 select 某些标准，例如像人类一样在网站上出现一次的日期。

谢谢， 亚历克斯

Answer 1

理论上，对于像 Trivago 这样的网站，您可以使用 URL 来设置您要查询的日期，但您需要研究用户代理和代理，否则您的 IP 会很快被列入黑名单。