Python，从 javascript 网站抓取数据

Question

所以，我有点像一个新的 python 程序员，如果我可以这样称呼自己的话，我正在尝试通过 "picking new projects" 程序学习。 我现在想做的是：

输入一个提供实时比分结果的网站，例如 http://www.livescore.com。 以某种方式抓取所有相互比赛的球队并操纵这些数据。 然后我想构建一个应用程序来获取这些数据，以 table 格式（比方说）很好地排列它们，然后在每次团队进球时更新它（可能通过再次报废？我不知道。 .).所以我想将它们投影为我自己的数据。

由于我是 python 的新手，我什至不知道是否可以这样做。 如果是这样，你能帮我吗？也许给我指出一些方向，给我指出要阅读的 python 的特定章节，特定模块等等？

我真的需要我能得到的任何帮助，因为我真的迷失在这件事上。 我不知道从哪里开始。

提前致谢

Answer 1

对于网络抓取，我建议使用 python 的常规请求库 + BeautifulSoup 库来解析 HTML。这样你就可以看看网站的内容了。

问题始于动态添加的数据，您可能就是这种情况。实际的实时数据可能来自站点向服务器发出的 XHR 请求，因此这就是您真正感兴趣的数据。 为了获取数据，您可以尝试查看那些 XHR 请求并尝试模仿它们。

另一个从站点提取数据的平台是 Selenium 项目。它更像是一个自动化的网络浏览器，让您可以访问所有数据，甚至是动态加载的数据。