有没有更好的方法来构建这种刮擦？

Question

仍在学习如何使用 BeautifulSoup 和 Python 进行网络抓取。我想出这个是为了从这个网站上获取专业经验 https://lawyers.justia.com/lawyer/ali-shahrestani-esq-198352。

for item in soup.findAll("dl",attrs={"class":"description-list list-with-badges"}):
    x=item.findAll("strong")
    x=remove_tags(str(x))
    print(x)

输出：

[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
[]
[Attorney]
[]
[]
[]
[]
[]
[]
[]
[]
[]

我也在寻找 "Attorney" 下的信息，但我很挣扎。

Answer 1

您可以使用 if x: 过滤数据，之后您可以使用 item

做不同的事情

for item in soup.find_all("dl", {"class": "description-list list-with-badges"}):
    x = item.find_all("strong")
    if x:
        print('strong:', x[0].get_text(strip=True))
        print('text:', item.get_text(strip=True, separator='|'))
        print('list:', item.get_text(strip=True, separator='|').split('|'))

结果

strong: Attorney
text: Attorney|Ali Shahrestani, Esq.|2007|- Current
list: ['Attorney', 'Ali Shahrestani, Esq.', '2007', '- Current']

或者您可以尝试使用其他唯一值 - 即。

<strong itemprop='jobTitle'>

并使用其他功能 - 即 parent

data = soup.find('strong', {'itemprop': 'jobTitle'}).parent.parent
print('text:', data.get_text(strip=True, separator='|'))
print('list:', data.get_text(strip=True, separator='|').split('|'))

结果：

text: Attorney|Ali Shahrestani, Esq.|2007|- Current
list: ['Attorney', 'Ali Shahrestani, Esq.', '2007', '- Current']

完整示例

import requests
from bs4 import BeautifulSoup as BS

url = 'https://lawyers.justia.com/lawyer/ali-shahrestani-esq-198352'
r = requests.get(url)

soup = BS(r.text, 'html.parser')

for item in soup.find_all("dl", {"class": "description-list list-with-badges"}):
    x = item.find_all("strong")
    if x:
        print('strong:', x[0].get_text(strip=True))
        print('text:', item.get_text(strip=True, separator='|'))
        print('list:', item.get_text(strip=True, separator='|').split('|'))

print('---')

item = soup.find('strong', {'itemprop': 'jobTitle'}).parent.parent
print('text:', item.get_text(strip=True, separator='|'))
print('list:', item.get_text(strip=True, separator='|').split('|'))

有没有更好的方法来构建这种刮擦？

Is there a better way to structure this scrape?

python

beautifulsoup

scrape