BeautifulSoup 未在亚马逊中找到所有商品
BeautifulSoup not finding all items in Amazon
我编写了以下源代码来从亚马逊图书中抓取 titles/authors。但是，“全部查找”仅 returns 我从前 30 本书而不是页面上所有 50 本书的信息。
我注意到前 30 本书是在没有滚动搜索栏的情况下已经加载的，但我不确定是否是这个原因。
s = HTMLSession()
url = "https://www.amazon.com/Best-Sellers-Kindle-Store-Arts-Photography/zgbs/digital-text/154607011/ref=zg_bs_nav_digital-text_3_157325011"
r = s.get(url)
soup = BeautifulSoup(r.text, 'html.parser')
books = soup.find_all("div", {"class":"_p13n-zg-list-grid-desktop_truncationStyles_p13n-sc-css-line-clamp-1__1Fn1y"})
尝试使用 requests 库并将选择器更改为不如您在代码中使用的 class 值动态的东西。使用 requests
查看下面的示例代码
from requests import session
from bs4 import BeautifulSoup
s = session()
url = "https://www.amazon.com/Best-Sellers-Kindle-Store-Arts-Photography/zgbs/digital-text/154607011/ref=zg_bs_nav_digital-text_3_157325011"
r = s.get(url)
soup = BeautifulSoup(r.text, 'html.parser')
books = soup.find_all("div", {"id":"gridItemRoot"})
print(len(books))
您将在终端中打印出以下内容
50
我编写了以下源代码来从亚马逊图书中抓取 titles/authors。但是，“全部查找”仅 returns 我从前 30 本书而不是页面上所有 50 本书的信息。
我注意到前 30 本书是在没有滚动搜索栏的情况下已经加载的，但我不确定是否是这个原因。
s = HTMLSession()
url = "https://www.amazon.com/Best-Sellers-Kindle-Store-Arts-Photography/zgbs/digital-text/154607011/ref=zg_bs_nav_digital-text_3_157325011"
r = s.get(url)
soup = BeautifulSoup(r.text, 'html.parser')
books = soup.find_all("div", {"class":"_p13n-zg-list-grid-desktop_truncationStyles_p13n-sc-css-line-clamp-1__1Fn1y"})
尝试使用 requests 库并将选择器更改为不如您在代码中使用的 class 值动态的东西。使用 requests
from requests import session
from bs4 import BeautifulSoup
s = session()
url = "https://www.amazon.com/Best-Sellers-Kindle-Store-Arts-Photography/zgbs/digital-text/154607011/ref=zg_bs_nav_digital-text_3_157325011"
r = s.get(url)
soup = BeautifulSoup(r.text, 'html.parser')
books = soup.find_all("div", {"id":"gridItemRoot"})
print(len(books))
您将在终端中打印出以下内容
50