将文本格式的数据读入 Python Pandas 数据帧
Read data from text format into Python Pandas dataframe
我 运行 Python 2.7 Windows.
我有一个很大的文本文件 (2 GB)，涉及 50 万多封电子邮件。该文件没有明确的文件类型，格式为：
email_message#: 1
email_message_sent: 10/10/1991 02:31:01
From: tomf@abc.com| Tom Foo |abc company|
To: adee@abc.com| Alex Dee |abc company|
To: benfor12@xyz.com| Ben For |xyz company|
email_message#: 2
email_message_sent: 10/12/1991 01:28:12
From: timt@abc.com| Tim Tee |abc company|
To: tomf@abc.com| Tom Foo |abc company|
To: adee@abc.com| Alex Dee |abc company|
To: benfor12@xyz.com| Ben For|xyz company|
email_message#: 3
email_message_sent: 10/13/1991 12:01:16
From: benfor12@xyz.com| Ben For |xyz company|
To: tomfoo@abc.com| Tom Foo |abc company|
To: t212@123.com| Tatiana Xocarsky |numbers firm |
...
如您所见，每封电子邮件都有以下相关数据：
1) 发送时间
2) 发送邮件的电子邮件地址
3) 发件人姓名
4) 该人工作的公司
5) 每个收到电子邮件的电子邮件地址
6) 每个收到邮件的人的名字
7) 每个收到邮件的人的公司
在文本文件中有 500K+ 封电子邮件，电子邮件最多可以有 16K 收件人。在电子邮件中如何引用人名或他们工作的公司名称方面没有任何模式。
我想获取这个大文件并在 python 中对其进行操作，使其最终成为 Pandas Dataframe。我想要 pandas dataframe 格式如下 excel 的截图：
编辑
我解决这个问题的计划是编写一个 "parser" 来获取这个文本文件并读取每一行，将每行中的文本分配给 pandas [=18] 的特定列=].
我打算写类似下面的东西。有人可以确认这是执行此操作的正确方法吗？我想确保我没有遗漏内置 pandas 函数或来自不同 module 的函数。
#connect to object
data = open('.../Emails', 'r')
#build empty dataframe
import pandas as pd
df = pd.DataFrame()
#function to read lines of the object and put pieces of text into the
# correct column of the dataframe
for line in data:
n = data.readline()
if n.startswith("email_message#:"):
#put a slice of the text into a dataframe
elif n.startswith("email_message_sent:"):
#put a slice of the text into a dataframe
elif n.startswith("From:"):
#put slices of the text into a dataframe
elif n.startswith("To:"):
#put slices of the text into a dataframe
我不知道执行此操作的绝对最佳方法。您当然不会忽略明显的单线，这可能会让您放心。
看起来您当前的解析器（称之为 my_parse）完成了所有处理。在伪代码中：
finished_df = my_parse(original_text_file)
但是，对于这么大的文件，这有点像用镊子在飓风过后清理。两阶段解决方案可能会更快，您首先将文件粗略地分解成您想要的结构，然后使用 pandas 系列操作来完善其余部分。继续伪代码，您可以执行以下操作：
rough_df = rough_parse(original_text_file)
finished_df = refine(rough_df)
其中 rough_parse 使用 Python 标准库内容，而 refine 使用 pandas 系列操作，尤其是 Series.str methods。
我建议 rough_parse 的主要目标只是实现一个电子邮件 - 一行结构。所以基本上你会经历并用某种独特的分隔符替换所有换行符，这种分隔符在文件中的其他任何地方都没有出现，比如 "$%$%$"，除了换行符之后的下一个内容是 "email_message#:"
然后 Series.str 真的很擅长按照您想要的方式处理其余的字符串。
我忍不住痒，所以这是我的方法。
from __future__ import unicode_literals
import io
import pandas as pd
from pandas.compat import string_types
def iter_fields(buf):
for l in buf:
yield l.rstrip('\n\r').split(':', 1)
def iter_messages(buf):
it = iter_fields(buf)
k, v = next(it)
while True:
n = int(v)
_, v = next(it)
date = pd.Timestamp(v)
_, v = next(it)
from_add, from_name, from_comp = v.split('|')[:-1]
k, v = next(it)
to = []
while k == 'To':
to_add, to_name, to_comp = v.split('|')[:-1]
yield (n, date, from_add[1:], from_name[1:-1], from_comp,
to_add[1:], to_name[1:-1], to_comp)
k, v = next(it)
if not hasattr(filepath_or_buffer, read):
filepath_or_buffer
def _read_email_headers(buf):
columns=['email_message#', 'email_message_sent',
'from_address', 'from_name', 'from_company',
'to_address', 'to_name', 'to_company']
return pd.DataFrame(iter_messages(buf), columns=columns)
def read_email_headers(path_or_buf):
close_buf = False
if isinstance(path_or_buf, string_types):
path_or_buf = io.open(path_or_buf)
close_buf = True
try:
return _read_email_headers(path_or_buf)
finally:
if close_buf:
path_or_buf.close
您将如何使用它：
df = read_email_headers('.../data_file')
只要用你的文件路径调用它，你就有了你的数据框。
现在，以下仅供测试。你不会这样做来处理现实生活中的实际数据。
由于我（或随机 Whosebug reader）没有你的文件副本，我必须使用字符串来伪造它：
text = '''email_message#: 1
email_message_sent: 10/10/1991 02:31:01
From: tomf@abc.com| Tom Foo |abc company|
To: adee@abc.com| Alex Dee |abc company|
To: benfor12@xyz.com| Ben For |xyz company|
email_message#: 2
email_message_sent: 10/12/1991 01:28:12
From: timt@abc.com| Tim Tee |abc company|
To: tomf@abc.com| Tom Foo |abc company|
To: adee@abc.com| Alex Dee |abc company|
To: benfor12@xyz.com| Ben For|xyz company|'''
然后我可以创建一个类似文件的对象并将其传递给函数：
df = read_email_headers(io.StringIO(text))
print(df.to_string())
email_message# email_message_sent from_address from_name from_company to_address to_name to_company
0 1 1991-10-10 02:31:01 tomf@abc.com Tom Foo abc company adee@abc.com Alex Dee abc company
1 1 1991-10-10 02:31:01 tomf@abc.com Tom Foo abc company benfor12@xyz.com Ben For xyz company
2 2 1991-10-12 01:28:12 timt@abc.com Tim Tee abc company tomf@abc.com Tom Foo abc company
3 2 1991-10-12 01:28:12 timt@abc.com Tim Tee abc company adee@abc.com Alex Dee abc company
4 2 1991-10-12 01:28:12 timt@abc.com Tim Tee abc company benfor12@xyz.com Ben Fo xyz company
或者，如果我想使用实际文件：
with io.open('test_file.txt', 'w') as f:
f.write(text)
df = read_email_headers('test_file.txt')
print(df.to_string()) # Same output as before.
但是，再次强调，您不必执行此操作即可将函数与您的数据一起使用。只需用文件路径调用它即可。
我 运行 Python 2.7 Windows.
我有一个很大的文本文件 (2 GB)，涉及 50 万多封电子邮件。该文件没有明确的文件类型，格式为：
email_message#: 1
email_message_sent: 10/10/1991 02:31:01
From: tomf@abc.com| Tom Foo |abc company|
To: adee@abc.com| Alex Dee |abc company|
To: benfor12@xyz.com| Ben For |xyz company|
email_message#: 2
email_message_sent: 10/12/1991 01:28:12
From: timt@abc.com| Tim Tee |abc company|
To: tomf@abc.com| Tom Foo |abc company|
To: adee@abc.com| Alex Dee |abc company|
To: benfor12@xyz.com| Ben For|xyz company|
email_message#: 3
email_message_sent: 10/13/1991 12:01:16
From: benfor12@xyz.com| Ben For |xyz company|
To: tomfoo@abc.com| Tom Foo |abc company|
To: t212@123.com| Tatiana Xocarsky |numbers firm |
...
如您所见，每封电子邮件都有以下相关数据：
1) 发送时间
2) 发送邮件的电子邮件地址
3) 发件人姓名
4) 该人工作的公司
5) 每个收到电子邮件的电子邮件地址
6) 每个收到邮件的人的名字
7) 每个收到邮件的人的公司
在文本文件中有 500K+ 封电子邮件，电子邮件最多可以有 16K 收件人。在电子邮件中如何引用人名或他们工作的公司名称方面没有任何模式。
我想获取这个大文件并在 python 中对其进行操作，使其最终成为 Pandas Dataframe。我想要 pandas dataframe 格式如下 excel 的截图：
编辑
我解决这个问题的计划是编写一个 "parser" 来获取这个文本文件并读取每一行，将每行中的文本分配给 pandas [=18] 的特定列=].
我打算写类似下面的东西。有人可以确认这是执行此操作的正确方法吗？我想确保我没有遗漏内置 pandas 函数或来自不同 module 的函数。
#connect to object
data = open('.../Emails', 'r')
#build empty dataframe
import pandas as pd
df = pd.DataFrame()
#function to read lines of the object and put pieces of text into the
# correct column of the dataframe
for line in data:
n = data.readline()
if n.startswith("email_message#:"):
#put a slice of the text into a dataframe
elif n.startswith("email_message_sent:"):
#put a slice of the text into a dataframe
elif n.startswith("From:"):
#put slices of the text into a dataframe
elif n.startswith("To:"):
#put slices of the text into a dataframe
我不知道执行此操作的绝对最佳方法。您当然不会忽略明显的单线，这可能会让您放心。
看起来您当前的解析器（称之为 my_parse）完成了所有处理。在伪代码中：
finished_df = my_parse(original_text_file)
但是，对于这么大的文件，这有点像用镊子在飓风过后清理。两阶段解决方案可能会更快，您首先将文件粗略地分解成您想要的结构，然后使用 pandas 系列操作来完善其余部分。继续伪代码，您可以执行以下操作：
rough_df = rough_parse(original_text_file)
finished_df = refine(rough_df)
其中 rough_parse 使用 Python 标准库内容，而 refine 使用 pandas 系列操作，尤其是 Series.str methods。
我建议 rough_parse 的主要目标只是实现一个电子邮件 - 一行结构。所以基本上你会经历并用某种独特的分隔符替换所有换行符，这种分隔符在文件中的其他任何地方都没有出现，比如 "$%$%$"，除了换行符之后的下一个内容是 "email_message#:"
然后 Series.str 真的很擅长按照您想要的方式处理其余的字符串。
我忍不住痒，所以这是我的方法。
from __future__ import unicode_literals
import io
import pandas as pd
from pandas.compat import string_types
def iter_fields(buf):
for l in buf:
yield l.rstrip('\n\r').split(':', 1)
def iter_messages(buf):
it = iter_fields(buf)
k, v = next(it)
while True:
n = int(v)
_, v = next(it)
date = pd.Timestamp(v)
_, v = next(it)
from_add, from_name, from_comp = v.split('|')[:-1]
k, v = next(it)
to = []
while k == 'To':
to_add, to_name, to_comp = v.split('|')[:-1]
yield (n, date, from_add[1:], from_name[1:-1], from_comp,
to_add[1:], to_name[1:-1], to_comp)
k, v = next(it)
if not hasattr(filepath_or_buffer, read):
filepath_or_buffer
def _read_email_headers(buf):
columns=['email_message#', 'email_message_sent',
'from_address', 'from_name', 'from_company',
'to_address', 'to_name', 'to_company']
return pd.DataFrame(iter_messages(buf), columns=columns)
def read_email_headers(path_or_buf):
close_buf = False
if isinstance(path_or_buf, string_types):
path_or_buf = io.open(path_or_buf)
close_buf = True
try:
return _read_email_headers(path_or_buf)
finally:
if close_buf:
path_or_buf.close
您将如何使用它：
df = read_email_headers('.../data_file')
只要用你的文件路径调用它，你就有了你的数据框。
现在，以下仅供测试。你不会这样做来处理现实生活中的实际数据。
由于我（或随机 Whosebug reader）没有你的文件副本，我必须使用字符串来伪造它：
text = '''email_message#: 1
email_message_sent: 10/10/1991 02:31:01
From: tomf@abc.com| Tom Foo |abc company|
To: adee@abc.com| Alex Dee |abc company|
To: benfor12@xyz.com| Ben For |xyz company|
email_message#: 2
email_message_sent: 10/12/1991 01:28:12
From: timt@abc.com| Tim Tee |abc company|
To: tomf@abc.com| Tom Foo |abc company|
To: adee@abc.com| Alex Dee |abc company|
To: benfor12@xyz.com| Ben For|xyz company|'''
然后我可以创建一个类似文件的对象并将其传递给函数：
df = read_email_headers(io.StringIO(text))
print(df.to_string())
email_message# email_message_sent from_address from_name from_company to_address to_name to_company
0 1 1991-10-10 02:31:01 tomf@abc.com Tom Foo abc company adee@abc.com Alex Dee abc company
1 1 1991-10-10 02:31:01 tomf@abc.com Tom Foo abc company benfor12@xyz.com Ben For xyz company
2 2 1991-10-12 01:28:12 timt@abc.com Tim Tee abc company tomf@abc.com Tom Foo abc company
3 2 1991-10-12 01:28:12 timt@abc.com Tim Tee abc company adee@abc.com Alex Dee abc company
4 2 1991-10-12 01:28:12 timt@abc.com Tim Tee abc company benfor12@xyz.com Ben Fo xyz company
或者，如果我想使用实际文件：
with io.open('test_file.txt', 'w') as f:
f.write(text)
df = read_email_headers('test_file.txt')
print(df.to_string()) # Same output as before.
但是，再次强调，您不必执行此操作即可将函数与您的数据一起使用。只需用文件路径调用它即可。