提取其他内容 python 请求

Question

我想从网页中提取生成的内容。

我正在使用 python 3 中的图书馆请求到 return 页面如下

 import requests 
 url = "https://app.updateimpact.com/treeof/org.json4s/json4s- 
  native_2.11/3.5.2"

 html_doc = requests.get(url)
 print(html_doc.text)

虽然检索文本似乎只是填充。我应该使用哪些工具来深入了解内容并提取其中的信息？

Answer 1

如果内容是html，你可以看看：

如果是 json，您将使用：

https://docs.python.org/3/library/json.html

Answer 2

Javascript 需要在页面上运行提供大部分内容。使用像 selenium 这样的方法将允许运行。请注意，需要一个额外的等待条件来确保加载某些内容。然后，您可以使用 selenium 语法提取信息或将 html 从 page_source 转储到 BeautifulSoup.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait 
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup as bs

d = webdriver.Chrome()
d.get('https://app.updateimpact.com/treeof/org.json4s/json4s-native_2.11/3.5.2')
dependencies = WebDriverWait(d, 5).until(EC.presence_of_element_located((By.CSS_SELECTOR , '.stats-list')))
print(dependencies)
soup = bs(d.page_source, 'lxml')
print(soup.select_one('#tree').text) # example

提取其他内容 python 请求

Extracting additional Content python requests

python

scraper

web-scraping

python-requests