使用 python 从网站提取信息

Question

我正在尝试使用此代码

获取有关本网站https://otx.alienvault.com/indicator/ip/13.107.21.200中指标事实的信息

from bs4 import BeautifulSoup
from urllib.request import urlopen
theurl = "https://otx.alienvault.com/indicator/ip/13.107.21.200"
thepage = urlopen(theurl)
soup = BeautifulSoup(thepage,"html.parser")
print(soup.find('div',{"class":"item-container"}))

但我得到的结果是 None，而不是网站中现有事实的列表！关于我的代码有什么问题的任何想法

Answer 1

您可以使用 API

从站点获取必要的信息

import requests


def get_facts(ip):
    response = requests.get(f'https://otx.alienvault.com/otxapi/indicators/ip/analysis/{ip}')
    print(response.json()['facts'])


get_facts('13.107.21.200')

使用 python 从网站提取信息

extract information from website using python

python

beautifulsoup

web-scraping