Python 3.7、Feedparser模块无法解析BBC天气提要
Python 3.7, Feedparser module cannot parse BBC weather feed
当我解析 BBC 天气提供的示例 rss link 时,它只给出一个空的提要,示例 link 是:“https://weather-broker-cdn.api.bbci.co.uk/en/forecast/rss/3day/2643123”
我试过在 python 中使用 feedparser 模块,我想在 python 或 c++ 中执行此操作,但 python 似乎更容易。我也尝试重写 URL 没有 https:// 和 .xml 但它仍然不起作用。
import feedparser
d = feedparser.parse('https://weather-broker-cdn.api.bbci.co.uk/en/forecast/rss/3day/2643123')
print(d)
应该给出类似于 link 上的 RSS 提要的结果,但它只是得到一个空提要
首先,我知道你没有结果——不是像我这样的错误。也许你是 运行 不同的版本。正如我所提到的,它在 Python 2 中的旧版本上产生了结果,使用的程序在大约 5 年的时间里每晚都稳定运行 运行,但它在新安装的 feedparser 5.2 上抛出异常.1 Python 3.7.4 64 位。
我不完全确定发生了什么,但是名为 _gen_georss_coords
的函数在第一次调用时抛出 StopIteration
。由于 PEP479 的实施,我注意到一些对此错误的引用。它被写成一个生成器,但对于你的 rss 提要,它只需要 return 1 个元组。这是有问题的功能。
def _gen_georss_coords(value, swap=True, dims=2):
# A generator of (lon, lat) pairs from a string of encoded GeoRSS
# coordinates. Converts to floats and swaps order.
latlons = map(float, value.strip().replace(',', ' ').split())
nxt = latlons.__next__
while True:
t = [nxt(), nxt()][::swap and -1 or 1]
if dims == 3:
t.append(nxt())
yield tuple(t)
发生了一些奇怪的事情,可能与 PEP479 以及在同一个函数中发生两个独立的生成器这一事实有关,这导致 StopIteration 冒泡到调用函数。不管怎样,我重写了它是一种更直接的方式。
def _gen_georss_coords(value, swap=True, dims=2):
# A generator of (lon, lat) pairs from a string of encoded GeoRSS
# coordinates. Converts to floats and swaps order.
latlons = list(map(float, value.strip().replace(',', ' ').split()))
for i in range(0, len(latlons), 3):
t = [latlons[i], latlons[i+1]][::swap and -1 or 1]
if dims == 3:
t.append(latlons[i+2])
yield tuple(t)
你可以在你的代码中定义上面的新函数,然后执行下面的代码将它打入feedparser
saveit, feedparser._gen_georss_coords = (feedparser._gen_georss_coords, _gen_georss_coords)
完成后,您可以使用
将 feedparser 恢复到之前的状态
feedparser._gen_georss_coords, _gen_georss_coords = (saveit, feedparser._gen_georss_coords)
或者如果您确信这是可靠的,您可以修改 feedparser 本身。不管怎样,我做了这个把戏,你的 rss feed 突然开始工作了。也许在你的情况下它也会带来一些改善。
当我解析 BBC 天气提供的示例 rss link 时,它只给出一个空的提要,示例 link 是:“https://weather-broker-cdn.api.bbci.co.uk/en/forecast/rss/3day/2643123”
我试过在 python 中使用 feedparser 模块,我想在 python 或 c++ 中执行此操作,但 python 似乎更容易。我也尝试重写 URL 没有 https:// 和 .xml 但它仍然不起作用。
import feedparser
d = feedparser.parse('https://weather-broker-cdn.api.bbci.co.uk/en/forecast/rss/3day/2643123')
print(d)
应该给出类似于 link 上的 RSS 提要的结果,但它只是得到一个空提要
首先,我知道你没有结果——不是像我这样的错误。也许你是 运行 不同的版本。正如我所提到的,它在 Python 2 中的旧版本上产生了结果,使用的程序在大约 5 年的时间里每晚都稳定运行 运行,但它在新安装的 feedparser 5.2 上抛出异常.1 Python 3.7.4 64 位。
我不完全确定发生了什么,但是名为 _gen_georss_coords
的函数在第一次调用时抛出 StopIteration
。由于 PEP479 的实施,我注意到一些对此错误的引用。它被写成一个生成器,但对于你的 rss 提要,它只需要 return 1 个元组。这是有问题的功能。
def _gen_georss_coords(value, swap=True, dims=2):
# A generator of (lon, lat) pairs from a string of encoded GeoRSS
# coordinates. Converts to floats and swaps order.
latlons = map(float, value.strip().replace(',', ' ').split())
nxt = latlons.__next__
while True:
t = [nxt(), nxt()][::swap and -1 or 1]
if dims == 3:
t.append(nxt())
yield tuple(t)
发生了一些奇怪的事情,可能与 PEP479 以及在同一个函数中发生两个独立的生成器这一事实有关,这导致 StopIteration 冒泡到调用函数。不管怎样,我重写了它是一种更直接的方式。
def _gen_georss_coords(value, swap=True, dims=2):
# A generator of (lon, lat) pairs from a string of encoded GeoRSS
# coordinates. Converts to floats and swaps order.
latlons = list(map(float, value.strip().replace(',', ' ').split()))
for i in range(0, len(latlons), 3):
t = [latlons[i], latlons[i+1]][::swap and -1 or 1]
if dims == 3:
t.append(latlons[i+2])
yield tuple(t)
你可以在你的代码中定义上面的新函数,然后执行下面的代码将它打入feedparser
saveit, feedparser._gen_georss_coords = (feedparser._gen_georss_coords, _gen_georss_coords)
完成后,您可以使用
将 feedparser 恢复到之前的状态feedparser._gen_georss_coords, _gen_georss_coords = (saveit, feedparser._gen_georss_coords)
或者如果您确信这是可靠的,您可以修改 feedparser 本身。不管怎样,我做了这个把戏,你的 rss feed 突然开始工作了。也许在你的情况下它也会带来一些改善。