PDFDomTree 在将 pdf 文件转换为 html 时未检测到空格

Question

我在 java 应用程序中使用 PDFDomTree 和 pdfbox-2.0.9 将 pdf 文件转换为 html 文件。下面是我用来转换 pdf 的代码。

try {   
    PDDocument document = PDDocument.load(new File("some path"));
    PDFDomTree parser = new PDFDomTree(PDFDomTreeConfig.createDefaultConfig());
    Writer output = new PrintWriter(new File("some output path"), "utf-8");

    parser.writeText(document, output);
    output.close();
    document.close();
} catch (IOException | ParserConfigurationException e) {
    throw e;
}

现在我的问题是当我尝试分析输出时 html，我意识到转换器无法检测到两个单词之间的空格，因此我将一些单词连接起来。

检查下面的比较：

如果需要，可以从 here 访问相应的 pdf 文件。

谁能帮我解决这个问题？

Answer 1

手边的文本提取器，Pdf2Dom 的 PDFDomTree，是基于 PDFBox 的 PDFTextStripper，但仅使用它来将 PDF 绘图指令解析为具有样式和位置的字符，同时它进行所有分析这些丰富的角色本身。

特别是它会忽略其 PDFBoxTree 父 class:

中所有传入的白色 space 字符

protected void processTextPosition(TextPosition text)
{
    if (text.isDiacritic())
    {
        lastDia = text;
    }
    else if (!text.getUnicode().trim().isEmpty())
    {
        [...process character...]
    }
}

(org.fit.pdfdom.PDFBoxTree 覆盖 processTextPosition)

在那个 [...process character...] 块中，它尝试通过硬编码距离识别单词间隙：

        //should we split the boxes?
        boolean split = lastText == null || distx > 1.0f || distx < -6.0f || Math.abs(disty) > 1.0f
                            || isReversed(getTextDirectionality(text)) != isReversed(getTextDirectionality(lastText));

（在上面的 [...process character...] 块内）

由于您的 PDF 中的文本开头很小（9pt 由 Pdf2Dom 确定）并且在许多行中设置得非常紧密，因此单词之间的间距通常小于上面假设的 1.0（distx > 1.0f).

在我看来这里有两个问题：

dropping white spaces表示丢弃信息；（在某些情况下，这可能是有利的，我已经看到 PDF 的同一条线被绘制两次，其中一个绘制字符串参数包含 spaces，而另一个包含可见字符；但这些是例外。）
具有硬编码的距离限制 distx > 1.0f、distx < -6.0f 等，即使字体大小（以及间距大小）可能变化很大。

这些问题应该在代码中得到修复。两种可能的 PDF 解决方法，例如您的 demo.pdf:

选择不同的距离限制

真正的修复应该尝试使距离限制动态变化，这取决于字体大小，甚至可能是当前行中到当前位置的平均字符距离。您的 PDF 的解决方法是用较小的硬编码距离替换硬编码距离。

例如使用 .5f 而不是 1.0f 作为单词距离，即将上面的测试替换为

        //should we split the boxes?
        boolean split = lastText == null || distx > .5f || distx < -6.0f || Math.abs(disty) > 1.0f

这导致 Pdf2Dom 识别您文档中的单词间隙（或至少更多，我没有检查所有这些）。

将白色 spaces 解释为拆分

而不是忽略白色 spaces，您可以明确地将它们解释为单词间隙，例如通过像这样增强 processTextPosition 覆盖

protected void processTextPosition(TextPosition text)
{
    if (text.isDiacritic())
    {
        lastDia = text;
    }
    else if (!text.getUnicode().trim().isEmpty())
    {
        [...process character...]
    } else {
//!! process white spaces here
        //finish current box (if any)
        if (lastText != null)
        {
            finishBox();
        }
        //start a new box
        curstyle = new BoxStyle(style);
        lastText = null;
    }
}

我没有深入分析代码，所以我只能称之为变通。为了使它成为一个真正的修复，你必须测试它的副作用并扩展它以研究白色 space 的确切性质：除了正常 [=86] 之外还有其他白色 space 字符=]，其中一些是零宽度的，一些是不间断的，等等。所有这些不同类型的白色 space 都值得特殊对待。

PS：由于许多 PDFBoxTree 成员受到保护（而非私有），因此无需修补 Pdf2Dom 即可轻松应用第二种解决方法：

PDDocument document = PDDocument.load(SOURCE);

PDFDomTree parser = new PDFDomTree(PDFDomTreeConfig.createDefaultConfig()) {
    @Override
    protected void processTextPosition(TextPosition text) {
        if (text.getUnicode().trim().isEmpty()) {
            //finish current box (if any)
            if (lastText != null)
            {
                finishBox();
            }
            //start a new box
            curstyle = new BoxStyle(style);
            lastText = null;
        } else {
            super.processTextPosition(text);
        }
    }
};
Writer output = new PrintWriter(TARGET, "utf-8");

parser.writeText(document, output);
output.close();

(ExtractText 测试 testDemoImproved)

PDFDomTree 在将 pdf 文件转换为 html 时未检测到空格

PDFDomTree not detecting white spaces while converting a pdf file to html

java

pdf

pdf-to-html

选择不同的距离限制

将白色 spaces 解释为拆分