使用 BS4 的网页抓取问题 - 需要历史天气信息 - 文本静音

Question

我想从 Meteostat.net 中抓取历史天气数据。你需要一把钥匙，我有。当我抓取和美化代码时，文本会因温度而静音。它在站点上拉起，当您检查站点的 html 时，您可以看到温度文本，但是当我在 Notebook 中编写代码时，html 并没有像在站点上那样显示.任何人都可以帮我抓取它以使文本不静音吗？我所需要的只是网站顶部的温度，如我所附的图片所示。 eb希望能得到所有帮助！！非常感谢！！

enter image description here

Answer 1

可能是网站正在加载天气信息在初始加载之后，可能是通过某些Javascript框架。您链接的网站 Meteostat 似乎有一个 json API，它是完全免费的并且有据可查 here。您可以简单地使用他们的 API 来调用天气信息，而不是使用 BS4。以下面的例子：

https://api.meteostat.net/v1/history/hourly?station=03772&start=2019-05-02&end=2019-05-11&time_zone=Europe/London&time_format=Y-m-d%20H:i&key=[YOUR KEY HERE]

会 return 像这样：

{
    "time": "2019-05-01 23:00:00",
    "time_local": "2019-05-02 00:00",
    "temperature": 12.2,
    "dewpoint": 7.9,
    "humidity": 75,
    "precipitation": 0.1,
    "precipitation_3": null,
    "precipitation_6": null,
    "snowdepth": null,
    "windspeed": 9.3,
    "peakgust": 16.7,
    "winddirection": 270,
    "pressure": 1016,
    "condition": 4
}

您应该能够使用 requests 和 json 模块来收集和加载这些数据。

使用 BS4 的网页抓取问题 - 需要历史天气信息 - 文本静音

Web Scraping Problem using BS4 - Need Historical Weather Info - Text Muted

python

weather

beautifulsoup

scrape

web