bs4 returns 变量名但不是内容

Question

我正在尝试使用 bs4 从 the metropolitan 中检索 Weblink 图像。

url = 'http://www.metmuseum.org/art/collection#!?material=Canvas&showOnly=onDisplay&offset=1780&pageSize=0&sortBy=Relevance&sortOrder=asc&perPage=20'
soup =BeautifulSoup(urlopen(url).read().decode(),'html5lib').encode()

在原来的网页上，我想要的数据是这样的，里面有我想要的link。

<figure class="card__standard-image">
        <a href="/art/collection/search/459087?sortBy=Relevance&amp;amp;what=Oil+paintings%7cPaintings&amp;amp;od=on&amp;amp;ft=*&amp;amp;offset=0&amp;amp;rpp=20&amp;amp;pos=1">

bs4返回的数据是这样的：

<figure class="card__standard-image">\n        <a href="{{ card.url }}">

在我看来，link 被 card.url 取代了，但我不知道如何访问卡中存储的值。

我试过不同的解析器，但都无济于事。

Answer 1

你需要的数据是JavaScript取的，读取的数据在这个URL:

http://www.metmuseum.org/api/collection/collectionlisting?artist=&department=&era=&geolocation=&material=Canvas&offset=0&pageSize=0&perPage=20&showOnly=onDisplay&sortBy=Relevance&sortOrder=asc

bs4 returns 变量名但不是内容

bs4 returns variable names but not content

python

beautifulsoup

web-crawler

bs4