使用 scrapy 抓取动态数据

Scrape dynamic data using scrapy

我想使用 scrapy（连同其他数据）从纳斯达克网站上抓取股票期权链

纳斯达克最近更新了他们的网站。 Here 就是我说的 url。

数据未通过普通蜘蛛和 scrapy 加载 shell。从 scrapy 文档中，我需要使用 scrapy-splash 或 scrapy-selenium。

在投入时间之前，我想知道哪一个是适合这项工作的工具。或者还有什么推荐的吗？

谢谢！

对于该任务，您不需要 selenium 或 splash。相反，您可以检查 chrome 开发人员工具中的网络选项卡。

干杯