如何让 Firebug 匹配 HtmlUnitDriver 页面源报告？

How can I get Firebug to match HtmlUnitDriver's pageSource report?

我正在使用 Java 和 Selenium 库来抓取网页。当我在 Firefox 的页面上使用 Firebug 时，我可以看到页面的源包含以下 HTML 结构：

<div>
    <div>
        <table>
            <caption />
            <thead />
            <tbody />
        </table>
    </div>
</div>

但是，当我使用 HtmlUnitDriver 以编程方式下载页面的源代码，然后使用 driver.getPageSource() 时，我看到相应的 HTML 结构已更改为：

<div>
    <table>
        <caption />
        <tbody />
    </table>
</div>
  1. 为什么 HtmlUnitDriver 的报告与 Firebug 给出的不同？
  2. 我可以设置 firebug 以便我可以根据 HtmlUnitDriver 的报告方式检查 HTML 结构吗？

请注意 Firebug 不会以这种方式调整 HTML 结构，即集成的开发人员工具应该向您显示相同的内容。

我假设第二个包装 <div> 和 <thead> 是由页面上的一些 JavaScript 运行 添加的。

您可以通过禁用 JavaScript 来检查，例如通过转到 about:config 并将 javascript.enabled 设置为 false 或通过 NoScript 或 Ghostery 等附加组件。