BS4 findall 不返回所有 div

Question

我试图找到站点的底部 table，但 findall() 一直返回空对象，所以我将所有 div 一个一个地放在同一层并注意到当我试图得到最后两个时，它给了我 []

the_page=urllib.request.urlopen("https://theunderminejournal.com/#eu/sylvanas/item/124105")
bsObj=BeautifulSoup(the_page,'html.parser')
test=bsObj.findAll('div',{'class':'page','id':"item-page"})
print(test)

我已经检查了我得到的 bs4 对象和我正在寻找的 2 divs it.Whats 发生了什么？

我要找的 div 在 https://theunderminejournal.com/#eu/sylvanas/item/124105

this is the div im trying to extract

Answer 1

您将需要使用 selenium 而不是普通的请求库。

请注意，我无法 post 所有输出，因为 HTML 解析的内容很大。

代码：

from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://theunderminejournal.com/#eu/sylvanas/item/124105")
bsObj = BeautifulSoup(driver.page_source,'html.parser')
test = bsObj.find('div', id='item-page')
print(test.prettify())

输出：

<div class="page" id="item-page" style="display: block;">
 <div class="item-stats">
  <table>
   <tr class="available">
    <th>
     Available Quantity
    </th>
    <td>
     <span>
      30,545
     </span>
    </td>
   </tr>
   <tr class="spacer">
    <td colspan="3">
    </td>
   </tr>
   <tr class="current-price">
    <th>
     Current Price
    </th>
    <td>
     <span class="money-gold">
      27.34
     </span>
    </td>
   </tr>
   <tr class="median-price">
    <th>
     Median Price
    </th>
    <td>
     <span class="money-gold">
      30.11
     </span>
    </td>
   </tr>
   <tr class="mean-price">
    <th>
     Mean Price
    </th>
    <td>
     <span class="money-gold">
      30.52
     </span>
    </td>
   </tr>
   <tr class="standard-deviation">
    <th>
     Standard Deviation
    </th>
    <td>
     <span class="money-gold">
      .
      .
      .
       </span>
      </abbr>
     </td>
    </tr>
   </table>
  </div>
 </div>
</div>

BS4 findall 不返回所有 div

BS4 findall not returning all divs

python

beautifulsoup

findall