为什么涌入性能如此之慢

Question

我正在 influx 中存储一些数据，令人困惑的是 influx 比 Mysql 慢 4-5 倍。我尝试通过在 mysql 中插入 10000 行然后在 influxdb 中进行测试。统计数据如下。

Mysql

real: 6m 39sec
user: 2.956sec  
sys: 0.504sec

Influxdb

real: 6m 17.193sec
user: 11.860sec
sys: 0.328sec

下面给出了我的 influx 代码，我使用相同的模式存储在 mysql 中。

#!/usr/bin/env python
# coding: utf-8
import time
import csv
import sys
import datetime
import calendar
import pytz
from influxdb import client as influxdb
from datetime import datetime

host = 'localhost'
port = 8086
user = "admin"
password = "admin"
db_name = "testdatabase"
db = influxdb.InfluxDBClient(database=db_name)


def read_data():
    with open(file) as f:
        reader = f.readlines()[4:]
       for line in reader:
            yield (line.strip().split(','))


fmt = '%Y-%m-%d %H:%M:%S'
file = '/home/rob/mycsvfile.csv'

csvToInflux = read_data()
body = []
for metric in csvToInflux:
    timestamp = datetime.strptime(metric[0][1: len(metric[0]) - 1], fmt)

    new_value = float(metric[1])
    body.append({
        'measurement': 'mytable1',
        'time': timestamp,
        'fields': {
             'col1': metric[1],
             'col2': metric[2],
             'col3': metric[3],
             'col4': metric[4],
             'col5': metric[5],
             'col6': metric[6],
             'col7': metric[7],
             'col8': metric[8],
             'col9': metric[9]
        }
        })
    db.write_points(body)

谁能告诉我如何改进它。我认为这可能是由于缓存。 Influx 数据库中的缓存选项是否默认关闭？有人可以指导我在涌入中进行批处理吗？我尝试查看 SO 和 google 但无法解决我的问题。我是涌入数据库的新手。我正在努力让它更快。感谢您提供任何帮助或提示。

Answer 1

一个一个插入influxdb很慢，应该分批进行。例如，尝试使用 10000 行的 CSV（一行一行）：

with open('/tmp/blah.csv') as f:
    lines = f.readlines()

import influxdb

inf = influxdb.InfluxDBClient('localhost', 8086, 'root', 'root', 'example1')

for line in lines:
    parts = line.split(',')
    json_body = [{
        'measurement': 'one_by_one',
        'time': parts[0],
        'fields':{
            'my_value': int(parts[1].strip())
        }
    }]
    inf.write_points(json_body)

这给了我

的结果

└─ $ ▶ time python influx_one.py

real    1m43.655s
user    0m19.547s
sys     0m3.266s

然后做一个小改动，一次性插入 CSV 的所有行：

json_body = []
for line in lines:
    parts = line.split(',')
    json_body.append({
        'measurement': 'one_batch',
        'time': parts[0],
        'fields':{
            'my_value': int(parts[1].strip())
        }
    })

inf.write_points(json_body)

结果好多了：

└─ $ ▶ time python influx_good.py

real    0m2.693s
user    0m1.797s
sys     0m0.734s

为什么涌入性能如此之慢

Why influx performance is so slow

python

mysql

csv

influxdb