如何使用 Tika 将 PDF 拆分为段落

Question

我有一个 PDF 文档，目前正在使用 Tika-Python 进行解析。我想把文件分成几段。

我的想法是将文档拆分为段落，然后使用 isspace() 函数创建段落列表

我也尝试过使用 \n\n 拆分，但没有任何效果。

这是我当前的代码：

file_data = (parser.from_file('/Users/graziellademartino/Desktop/UNIBA/Research Project/UK cases/file1.pdf'))
file_data_content = file_data['content']

paragraph = ''
for line in file_data_content:
    if line.isspace():  
        if paragraph:
            yield paragraph
            paragraph = ''
        else:
            continue
    else:
        paragraph += ' ' + line.strip()
yield paragraph

Answer 1

我无法确定 file_data_content 现在是什么样子，因为我不知道您正在使用什么来处理您的 PDF 数据以及它 returns。但是，如果它返回一个基本字符串，例如 Line1\nLine2\netc.，那么下面的内容应该可以工作。当你说：

for line in file_data_content:

和 file_data_content 是一个字符串，您正在逐个字符而不是逐行处理字符串，这显然是一个问题。因此，您需要将文本拆分为行列表并处理该列表的每个元素：

def create_paragraphs(file_data_content):
    lines = file_data_content.splitlines(True)
    paragraph = []
    for line in lines:
        if line.isspace():
            if paragraph:
                yield ''.join(paragraph)
                paragraph = []
        else:
            paragraph.append(line)
    if paragraph:
        yield ''.join(paragraph)

text="""Line1
Line2

Line3
Line4


Line5"""

print(list(create_paragraphs(text)))

打印：

['Line1\nLine2\n', 'Line3\nLine4\n', 'Line5']

Answer 2

paragraphs = file_data_content.split('.\n\n')

如何使用 Tika 将 PDF 拆分为段落

How to split PDF into paragraphs using Tika

python

pdf

apache-tika