使用请求和 BeautifulSoup 从网站的不同选项卡中抓取数据

Scraping data from different tabs of a website using requests and BeautifulSoup

我正在尝试从以下选项卡中抓取数据:Overview、Technical、Fundamental、Performance 和 PivotLabel 来自该网站 - https://www.moneycontrol.com/markets/indian-indices/top-nseauto-companies-list/52classic=true&categoryId=2&exType=N 但我只能从第一个选项卡中获取 table选项卡,即概览选项卡。

我正在尝试使用这段代码从“技术”选项卡中获取数据,但它不起作用:

y = requests.get(auto_url, data={'id': 'extraIdMT', 'value': 'td52N'})

print(y.content)

谁能帮忙解决如何从“技术”选项卡中抓取 table 的问题。

您可以尝试使用浏览器中的开发者工具,看看当您点击某个选项卡时会发生什么。 在使用网络分析器的时候,可以看到点击任意一个tab都会使用GET方法调用带有特定参数的文件ChangeTableData。 对于“技术”选项卡,它将是 this link。您可以简单地从这些 URL 获取数据 :)

网络分析器的外观如下: