在 python 或其他方面获取 Scrapy 的最新 chrome 用户代理

Getting latest chrome user agent for Scrapy in python or other wise

最近我开始定期使用 Scrapy 来分析需要最新浏览器(用户代理)才能显示其内容的网站。 现在,这似乎是一个老问题,但最新的问题是相当开放的。为什么?

没有简单的 API 或打包到 generate/download 最新版本的用户代理(在任何 OS/platform 中)。

许多包试图解决这个问题:

  1. shadow-useragent - 但它依赖于自愿服务器,该服务器由于某种原因目前处于非活动状态。
  2. latest-user-agents - 但它也使用托管的 json 文件 + 它还列出了旧的用户代理,并且没有任何文档。

最后是这个网站:www.whatismybrowser.com 它非常有用,但不能轻易实现自动化...

知道如何解决吗?

一个老答案,但我其实也在寻找这个功能。

您的第二个选项 latest-user-agents works as it gets the JSON file from a daily updated source 来自同一作者。

README.md 包含旧 user-agents 的原因是存储库未更新,所以这只是一个示例。我今天试了一下,它有我能看到的所有最新的user-agents。