BeautifulSoup 未在亚马逊中找到所有商品

Question

我编写了以下源代码来从亚马逊图书中抓取 titles/authors。但是，“全部查找”仅 returns 我从前 30 本书而不是页面上所有 50 本书的信息。

我注意到前 30 本书是在没有滚动搜索栏的情况下已经加载的，但我不确定是否是这个原因。

s = HTMLSession()
url = "https://www.amazon.com/Best-Sellers-Kindle-Store-Arts-Photography/zgbs/digital-text/154607011/ref=zg_bs_nav_digital-text_3_157325011"
r = s.get(url)
soup = BeautifulSoup(r.text, 'html.parser')
books = soup.find_all("div", {"class":"_p13n-zg-list-grid-desktop_truncationStyles_p13n-sc-css-line-clamp-1__1Fn1y"})

Answer 1

尝试使用 requests 库并将选择器更改为不如您在代码中使用的 class 值动态的东西。使用 requests

查看下面的示例代码

from requests import session
from bs4 import BeautifulSoup

s = session()
url = "https://www.amazon.com/Best-Sellers-Kindle-Store-Arts-Photography/zgbs/digital-text/154607011/ref=zg_bs_nav_digital-text_3_157325011"
r = s.get(url)
soup = BeautifulSoup(r.text, 'html.parser')
books = soup.find_all("div", {"id":"gridItemRoot"})

print(len(books))

您将在终端中打印出以下内容

BeautifulSoup 未在亚马逊中找到所有商品

BeautifulSoup not finding all items in Amazon

html

web-scraping

beautifulsoup

python-requests

amazon