BeautifulSoup (bs4) 解析错误

Question

使用 bs4 解析此示例文档，来自 python 2.7.6:

<html>
<body>
<p>HTML allows omitting P end-tags.

<p>Like that and this.

<p>And this, too.

<p>What happened?</p>

<p>And can we <p>nest a paragraph, too?</p></p>

</body>
</html>

使用：

from bs4 import BeautifulSoup as BS
...
tree = BS(fh)

HTML 多年来，允许省略各种元素类型的结束标记，包括 P（检查架构或解析器）。但是，bs4 在本文档中的 prettify() 显示它不会结束任何这些段落，直到它看到 :

<html>
 <body>
  <p>
   HTML allows omitting P end-tags.
   <p>
    Like that and this.
    <p>
     And this, too.
     <p>
      What happened?
     </p>
     <p>
      And can we
      <p>
       nest a paragraph, too?
      </p>
     </p>
    </p>
   </p>
  </p>
 </body>

这不是 prettify() 的错，因为手动遍历树我得到了相同的结构：

<[document]>
    <html>
        ␊
        <body>
            ␊
            <p>
                HTML allows omitting P end-tags.␊␊
                <p>
                    Like that and this.␊␊
                    <p>
                        And this, too.␊␊
                        <p>
                            What happened?
                        </p>
                        ␊
                        <p>
                            And can we 
                            <p>
                                nest a paragraph, too?
                            </p>
                        </p>
                        ␊
                    </p>
                </p>
            </p>
        </body>
        ␊
    </html>
    ␊
</[document]>

现在，这将是 XML 的正确结果（至少到为止，此时它应该报告 WF 错误）。但这不是 XML。给出了什么？

Answer 1

http://www.crummy.com/software/BeautifulSoup/bs4/doc/#installing-a-parser 的文档讲述了如何让 BS4 使用不同的解析器。显然默认是 html.parse，BS4 文档说它在 Python 2.7.3 之前被破坏了，但显然仍然存在上述 2.7.6.

中描述的问题

切换到 "lxml" 对我来说是不成功的，但是切换到 "html5lib" 产生了正确的结果：

tree = BS(htmSource, "html5lib")

BeautifulSoup (bs4) 解析错误

BeautifulSoup (bs4) parsing wrong

html

python

python-2.7

bs4