从大型 CSV 文件连接单词的最有效方法：pandas 或 Python 标准库？
Most efficient way to concatenate words from a big CSV file: pandas or Python standard library?
我正在尝试进行文本分析，并将我的数据收集到一个包含三列的 CSV 文档中。我正在尝试将第二列中的所有文本组合成一个字符串以执行一些词分析（词云、频率等）我已经使用 pandas 导入了 CSV 文件。在下面的代码中，data 是一个 DataFrame 对象。
# Extract words from comment column in data
words = " "
for msg in data["comment"]:
msg = str(msg).lower()
words = words + msg + " "
print("Length of words is:", len(words))
使用 word_cloud 解析输出。
wordcloud = WordCloud(width = 3000, height = 2000, random_state=1, collocations=False, stopwords = stopwordsTerrier.union(stopwordsExtra)).generate(words)
CSV 文件
rating, comment, ID
5, It’s just soooo delicious but silly price and postage price, XXX1
5, Love this salad dressing... One my kids will estv😊, XXX2
...
该代码适用于 <240kb 等较小的文件，但我最近正在处理一个 50mb 的文件，这大大降低了脚本的速度（179,697 行）- 我不确定它是否会甚至完成计算。我确信这是瓶颈，因为我是 运行 Jupyter notebook 中的脚本，这是我正在执行的单元格中的唯一代码。
我的问题是：有没有更有效的方法？
最明显的改进是连接 python 字符串，如下所示（这是一种 pythonic 方式）：
words = " ".join((str(msg).lower() for msg in data["comment"]))
您使用的方式会在每次连接时生成新字符串，因为字符串在 python 中是不可变的。
您可以找到更多信息here or here
Pandas解决方案（比标准库快2.5倍）
A Pandas 系列可以转换为字符串：pandas.Series.str.cat
data = pd.read_csv(file_path)
words = data["comment"].str.cat(sep=' ').lower()
Python标准库解决方案（较慢）
import csv
comment_list = []
with open(file_path, newline='') as csv_file:
reader = csv.DictReader(csv_file)
for row in reader:
comment_list.append(row["comment"])
words = " ".join(comment_list).lower()
性能测试
使用标准库读取 CSV 与 pandas.read_csv
使用 pandas.read_csv() 至少比 Python 标准库包快 2.5 倍 csv.
创建一个测试 CSV 文件：test_data.csv
import random
reviews = [
"Love this salad dressing... One my kids will estv😊",
"It’s just soooo delicious but silly price and postage price",
"The sitcome was entertaining but still a waste of time",
"If only I had ten stomaches to enjoy everything the buffet had to offer"
]
with open("test_data.csv", "w") as file:
file.write("random_number,comment,index\n")
for i in range(10000):
file.write(f"{random.randint(0, 9)},{random.choice(reviews)},{i}\n")
读取 CSV 文件 100 次
import csv
import pandas as pd
import timeit
def read_csv_stnd(file_path: str) -> str:
comment_list = []
with open(file_path, newline='') as csv_file:
reader = csv.DictReader(csv_file)
for row in reader:
comment_list.append(row["comment"])
return " ".join(comment_list).lower()
def read_csv_pandas(file_path: str) -> str:
data = pd.read_csv(file_path)
return data["comment"].str.cat(sep=' ').lower()
data_file = "test_data.csv"
print(f"Time to run read_csv_stnd 100 times: {timeit.timeit(lambda: read_csv_stnd(data_file), number=100)}")
print(f"Time to run read_csv_pandas 100 times: {timeit.timeit(lambda: read_csv_pandas(data_file), number=100)}")
读取 CSV 文件的结果：
Time to run read_csv_stnd 100 times: 2.349453884999093
Time to run read_csv_pandas 100 times: 0.9676197949993366
标准库 lower() 对比 pandas.Series.str.lower
使用标准库函数lower()大约比使用pandas.Series.str.lower
快5倍
pandas.Series.str.lower
>>> import pandas as pd
>>> import timeit
>>>
>>> s = pd.Series(['lower', 'CAPITALS', 'this is a sentence', 'SwApCaSe'])
>>> timeit.timeit(lambda: s.str.lower().str.cat(sep=' '), number=10000)
1.9734079910012952
lower()
>>> timeit.timeit(lambda: s.str.cat(sep=' ').lower(), number=10000)
0.3571630870010267
您可以尝试将单词附加到列表中，然后将列表转换为字符串，而不是在每次迭代中都创建一个新字符串。也许像这样：
words = [word.lower() for word in data["comment"]]
words = " ".join(words)
我用 100,000 个单词对其进行了测试，它似乎比您当前使用的方法快大约 15 倍。当然，您可以在字符串的开头添加 space 或进行其他修改以符合您的确切要求。
我正在尝试进行文本分析，并将我的数据收集到一个包含三列的 CSV 文档中。我正在尝试将第二列中的所有文本组合成一个字符串以执行一些词分析（词云、频率等）我已经使用 pandas 导入了 CSV 文件。在下面的代码中，data 是一个 DataFrame 对象。
# Extract words from comment column in data
words = " "
for msg in data["comment"]:
msg = str(msg).lower()
words = words + msg + " "
print("Length of words is:", len(words))
使用 word_cloud 解析输出。
wordcloud = WordCloud(width = 3000, height = 2000, random_state=1, collocations=False, stopwords = stopwordsTerrier.union(stopwordsExtra)).generate(words)
CSV 文件
rating, comment, ID
5, It’s just soooo delicious but silly price and postage price, XXX1
5, Love this salad dressing... One my kids will estv😊, XXX2
...
该代码适用于 <240kb 等较小的文件，但我最近正在处理一个 50mb 的文件，这大大降低了脚本的速度（179,697 行）- 我不确定它是否会甚至完成计算。我确信这是瓶颈，因为我是 运行 Jupyter notebook 中的脚本，这是我正在执行的单元格中的唯一代码。
我的问题是：有没有更有效的方法？
最明显的改进是连接 python 字符串，如下所示（这是一种 pythonic 方式）：
words = " ".join((str(msg).lower() for msg in data["comment"]))
您使用的方式会在每次连接时生成新字符串，因为字符串在 python 中是不可变的。
您可以找到更多信息here or here
Pandas解决方案（比标准库快2.5倍）
A Pandas 系列可以转换为字符串：pandas.Series.str.cat
data = pd.read_csv(file_path)
words = data["comment"].str.cat(sep=' ').lower()
Python标准库解决方案（较慢）
import csv
comment_list = []
with open(file_path, newline='') as csv_file:
reader = csv.DictReader(csv_file)
for row in reader:
comment_list.append(row["comment"])
words = " ".join(comment_list).lower()
性能测试
使用标准库读取 CSV 与 pandas.read_csv
使用 pandas.read_csv() 至少比 Python 标准库包快 2.5 倍 csv.
创建一个测试 CSV 文件：test_data.csv
import random
reviews = [
"Love this salad dressing... One my kids will estv😊",
"It’s just soooo delicious but silly price and postage price",
"The sitcome was entertaining but still a waste of time",
"If only I had ten stomaches to enjoy everything the buffet had to offer"
]
with open("test_data.csv", "w") as file:
file.write("random_number,comment,index\n")
for i in range(10000):
file.write(f"{random.randint(0, 9)},{random.choice(reviews)},{i}\n")
读取 CSV 文件 100 次
import csv
import pandas as pd
import timeit
def read_csv_stnd(file_path: str) -> str:
comment_list = []
with open(file_path, newline='') as csv_file:
reader = csv.DictReader(csv_file)
for row in reader:
comment_list.append(row["comment"])
return " ".join(comment_list).lower()
def read_csv_pandas(file_path: str) -> str:
data = pd.read_csv(file_path)
return data["comment"].str.cat(sep=' ').lower()
data_file = "test_data.csv"
print(f"Time to run read_csv_stnd 100 times: {timeit.timeit(lambda: read_csv_stnd(data_file), number=100)}")
print(f"Time to run read_csv_pandas 100 times: {timeit.timeit(lambda: read_csv_pandas(data_file), number=100)}")
读取 CSV 文件的结果：
Time to run read_csv_stnd 100 times: 2.349453884999093
Time to run read_csv_pandas 100 times: 0.9676197949993366
标准库 lower() 对比 pandas.Series.str.lower
使用标准库函数lower()大约比使用pandas.Series.str.lower
pandas.Series.str.lower
>>> import pandas as pd
>>> import timeit
>>>
>>> s = pd.Series(['lower', 'CAPITALS', 'this is a sentence', 'SwApCaSe'])
>>> timeit.timeit(lambda: s.str.lower().str.cat(sep=' '), number=10000)
1.9734079910012952
lower()
>>> timeit.timeit(lambda: s.str.cat(sep=' ').lower(), number=10000)
0.3571630870010267
您可以尝试将单词附加到列表中，然后将列表转换为字符串，而不是在每次迭代中都创建一个新字符串。也许像这样：
words = [word.lower() for word in data["comment"]]
words = " ".join(words)
我用 100,000 个单词对其进行了测试，它似乎比您当前使用的方法快大约 15 倍。当然，您可以在字符串的开头添加 space 或进行其他修改以符合您的确切要求。