InfluxDB 批量写入的意外输出

Question

我正在使用批处理写入 InfluxDB，下面是我的代码。

    String dbName = "test";
    influxDB.query(new Query("CREATE DATABASE " + dbName, dbName));
    Stopwatch watch = Stopwatch.createStarted();
    influxDB.enableBatch(2000, 100, TimeUnit.MILLISECONDS);


        for (int j = 0; j < 100000; j++) {
            Point point = Point.measurement("cpu")
                    .addField("idle", (double) j)
                     .addField("system", 3.0 * j).build();
            influxDB.write(dbName, "autogen", point);
        }
       influxDB.disableBatch();
       System.out.println("Write for " + 100000 + " Points took:" + watch);
   }

我在这里写了 100000 个点，这花费了非常合理的时间来写，但是只有很少的记录被写入数据库而不是预期的 100000 条记录。

select count(idle) from cpu 只给我“89”，我希望它是“100000”

虽然 select * from cpu 给了我以下内容：

cpu
time                        idle    system
2016-10-06T23:57:41.184Z    8       24
2016-10-06T23:57:41.185Z    196     588
2016-10-06T23:57:41.186Z    436     1308
2016-10-06T23:57:41.187Z    660     1980
2016-10-06T23:57:41.188Z    916     2748
2016-10-06T23:57:41.189Z    1278    3834
2016-10-06T23:57:41.19Z     1405    4215
2016-10-06T23:57:41.191Z    1409    4227
2016-10-06T23:57:41.192Z    1802    5406
2016-10-06T23:57:41.193Z    1999    5997
2016-10-06T23:57:41.456Z    3757    11271
2016-10-06T23:57:41.457Z    3999    11997
2016-10-06T23:57:41.858Z    4826    14478 and so on.....

这里我的问题是为什么idle的值丢失了，比如8之后应该是9、10、11等等，但是这些值没有持久化，直接来了196然后在中间丢失了然后436. 知道如何在这种情况下保留循环变量 "j" 的所有值吗？

Answer 1

这一行

influxDB.enableBatch(2000, 100, TimeUnit.MILLISECONDS);

表示如果每 100 毫秒周期有超过 2000 个样本，它将刷新输入数据。由于您正在尝试编写 100k 个样本，因此逻辑上大多数样本都会被刷新。

相反，在单个批次中写入较少的样本。我的建议是在一个批次中写入 5000 个样本，然后进行多个批次，直到所有数据都在数据库中。

// Batch 1
influxDB.enableBatch(5000, 100, TimeUnit.MILLISECONDS);
for (int j = 0; j < 5000; j++) {
   Point point = Point.measurement("cpu")
                      .addField("idle", (double) j)
                      .addField("system", 3.0 * j).build();
   influxDB.write(dbName, "autogen", point);
}
influxDB.disableBatch();

// Batch 2
// ...

InfluxDB 批量写入的意外输出

Unexpected output of InfluxDB batch write

java

influxdb