是否有 bs4 的 find_all() 方法的替代方法 returns 另一个汤对象而不是列表，以便进一步导航？

Question

找到所有 <ul> 后，我想进一步提取文本和 href。对于 HTML 的这一点，我面临的问题是我最需要，但不是页面中的所有 <li> 项目。我看到当我 find_all() 时，我返回了一个列表对象，它不允许我将它作为汤对象进一步导航。
例如，在下面的代码片段中，要最终创建 {'cityName': 'href',} 的字典，我尝试过：

city_list = soup.find_all('ul', {'class': ''})
city_dict = {}
for city in city_list:
    city_dict[city.text] = city['href']

这是最小样本 HTML:

<h4>Alabama</h4>
<ul>
<li><a href="https://auburn.craigslist.org/">auburn</a></li>
<li><a href="https://bham.craigslist.org/">birmingham</a></li>
<li><a href="https://tuscaloosa.craigslist.org/">tuscaloosa</a></li>
</ul>
<h4>Alaska</h4>
<ul>
<li><a href="https://anchorage.craigslist.org/">anchorage / mat-su</a></li>
<li><a href="https://juneau.craigslist.org/">southeast alaska</a></li>
</ul>
<h4>Arizona</h4>
<ul>
<li><a href="https://flagstaff.craigslist.org/">flagstaff / sedona</a></li>
<li><a href="https://yuma.craigslist.org/">yuma</a></li>
</ul>
<ul>
<li><a href="https://www.craigslist.org/about/help/">help</a></li>
<li><a href="https://www.craigslist.org/about/scams">safety</a></li>
<li class="fsel mobile linklike" data-mode="regular">desktop</li>
</ul>

本质上，我如何才能首先 find_all() ul，然后进一步只找到我感兴趣的 li？

Answer 1

可能你需要这样的东西：

city_dict = {}
for ul in soup.find_all('ul', {'class': ''}):
    state_name = ul.find_previous_sibling('h4').text
    print(state_name)
    for link in ul.find_all('a'):
        print(link['href'])

Answer 2

试试这个，稍后谢谢我:)

list_items = soup.find_all('ul',{'class':''})
list_of_dicts = []
for item in list_items:
    for i in item.find_all('li'):
        new_dict = {i.text:i.a.get('href')}
        list_of_dicts.append(new_dict)

Answer 3

city_dict = {}
for li in soup.find_all('li'):
    city_name = li.text
    for link in li.find_all('a'):
        city_dict[city_name] = link['href']

是否有 bs4 的 find_all() 方法的替代方法 returns 另一个汤对象而不是列表，以便进一步导航？

Is there an alternative to bs4's find_all() method that returns another soup object instead of a list, for further navigation?

python

python-3.x

web-scraping

bs4