遍历 html 个标签

Question

我正在尝试使用 html 解析器和 beautifulsoup 抓取网页。我正在尝试从某些

标签中获取文本。但是由于其中一些根本没有文本，所以对于那些为空的文本我会得到一个属性错误。我正在尝试以下代码：

content = elements.find("p",{"class":"Text"}).text #Where elements is a bs4 tag inside a for loop

经过一些迭代，我得到以下错误：

AttributeError: 'NoneType' object has no attribute 'text'

也许我必须尝试以下操作：

while True:
    content = elements.find("p",{"class":"Text"}).text
    if type(content)==None:
        content = 'None'

但是上面的代码有问题

Answer 1

在访问 text 属性元素之前，您必须检查该元素是否不是 None.

while True:
    elem = elements.find("p",{"class":"Text"})
    if elem is not None:
        content = elem.text
    else:
        content = 'None'  # Any static value you want to give

遍历 html 个标签

Loop through html tags

python

web-scraping

beautifulsoup

html-parsing