如何使用 BeautifulSoup 从维基百科页面获取子内容

Question

我正在尝试使用 python 从基于内部 link 的维基百科页面中抓取子内容，问题是从页面中抓取所有内容，如何只抓取内部 link段，提前致谢

base_link='https://ar.wikipedia.org/wiki/%D8%A7%D9%84%D8%AA%D9%87%D8%A7%D8%A8_%D8%A7%D9%84%D9%82%D8%B5%D8%A8%D8%A7%D8%AA'
sub_link="#الأسباب"
total=base_link+sub_link
r=requests.get(total)
soup = bs(r.text, 'html.parser')          
results=soup.find('p')           
print(results)

Answer 1

这是因为它不是您要抓取的子链接。是主播。

尝试请求整个页面，然后找到给定的 ID。

像这样：

from bs4 import BeautifulSoup as soup
import requests

base_link='https://ar.wikipedia.org/wiki/%D8%A7%D9%84%D8%AA%D9%87%D8%A7%D8%A8_%D8%A7%D9%84%D9%82%D8%B5%D8%A8%D8%A7%D8%AA'
anchor_id="ﺍﻸﺴﺑﺎﺑ"
r=requests.get(base_link)
page = soup(r.text, 'html.parser')
span = page.find('span', {'id': anchor_id})
results = span.parent.find_next_siblings('p')
print(results[0].text)