为数百万行优化 python 循环

Question

我正在尝试使用 Python-Faker 模拟测试数据集。目标是为我的用例提供几百万条记录。以下是我用来为 100 万条记录填充 5 个数据元素的代码。

for i in range(500000):
    df = df.append(
        {'COL1': fake.first_name_female(),
         'COL2': fake.last_name_female(),
         'COL3': 'F',
         'COL4': fake.street_address(),
         'COL5': fake.zipcode_in_state()
         }, ignore_index=True)
    df = df.append(
        {'COL1': fake.first_name_male(),
         'COL2': fake.last_name_male(),
         'COL3': 'M',
         'COL4': fake.street_address(),
         'COL5': fake.zipcode_in_state()
         }, ignore_index=True)

运行这花了将近 8 个小时。我怎样才能优化这个循环以运行更快？

Answer 1

import pandas as pd
from time import time
from faker import Faker
fake = Faker()

def fake_row(i):
    if i % 2 == 0:
        row = [fake.first_name_female(), fake.last_name_female(), 'F', fake.street_address(), fake.zipcode_in_state()]
    else:
        row = [fake.first_name_male(), fake.last_name_male(), 'M', fake.street_address(), fake.zipcode_in_state()]
    return row

start = time()
fake_data = [fake_row(i) for i in range(500000)]
df = pd.DataFrame(fake_data, columns=['COL1', 'COL2', 'COL3', 'COL4', 'COL5'])
print('[TIME]', time() - start)
[TIME] 171.82 secs

需要更快的代码？使用 deco

import pandas as pd
from time import time
from faker import Faker
from deco import concurrent, synchronized
fake = Faker()

@concurrent
def fake_row(i):
    if i % 2 == 0:
        row = [fake.first_name_female(), fake.last_name_female(), 'F', fake.street_address(), fake.zipcode_in_state()]
        return row
    else:
        row = [fake.first_name_male(), fake.last_name_male(), 'M', fake.street_address(), fake.zipcode_in_state()]
        return row

@synchronized
def run(size):
    res = []
    for i in range(size):
        res.append(fake_row(i))
    return pd.DataFrame(res, columns=['COL1', 'COL2', 'COL3', 'COL4', 'COL5'])

start = time()
df = run(500000)
print('[TIME]', time() - start)
[TIME] 88.11 secs

Answer 2

您是否检查过您是否有足够的 RAM 以及您的操作系统是否使用 HD Space 作为 RAM？

Swaping/Paging，可以降低任何运行软件（和整个 OS）的速度，因为代码需要越来越多的内存，而操作系统正在尝试使用更多和更多的免费高清 Space 分配更多 "virtual" 内存 space 在硬盘上 all/almost 所有 space 在你的 "physical" 内存上累死了...

运行的代码，在代码运行的时候一直监控代码的内存消耗。

如果您在 Mac OS X：转到应用程序 -> Activity 监视器 -> 内存（选项卡）

为数百万行优化 python 循环

Optimizing python loops for millions of rows

python

optimization

faker