如何从网页中提取 URL

Question

我需要一种方法从该网页 https://iota-nodes.net/ 的列表中提取 url 使用 Python。我尝试了 BeautifulSoup 但没有成功。 我的代码是：

from bs4 import BeautifulSoup, SoupStrainer
import requests

url = "https://iota-nodes.net/"

page = requests.get(url)    
data = page.text
soup = BeautifulSoup(data)

for link in soup.find_all('a'):
   print(link.get('href'))

Answer 1

不需要 BeautifulSoup，因为数据来自 AJAX 请求。这样的事情应该有效：

import requests

response = requests.get('https://api.iota-nodes.net/')
data = response.json()

hostnames = [node['hostname'] for node in data]

请注意，数据来自 API 端点 https://api.iota-nodes.net/。