Jooq批量记录插入
Jooq batch record insert
我目前正在尝试批量插入许多记录 (~2000)，而 Jooq 的 batchInsert 没有按照我的意愿进行。
我正在将 POJO 转换为 UpdatableRecords，然后执行 batchInsert，它为每条记录执行插入。所以 Jooq 正在为每个批量插入执行约 2000 次查询，这会降低数据库性能。
它正在执行这段代码（jooq 的批量插入）：
for (int i = 0; i < records.length; i++) {
Configuration previous = ((AttachableInternal) records[i]).configuration();
try {
records[i].attach(local);
executeAction(i);
}
catch (QueryCollectorSignal e) {
Query query = e.getQuery();
String sql = e.getSQL();
// Aggregate executable queries by identical SQL
if (query.isExecutable()) {
List<Query> list = queries.get(sql);
if (list == null) {
list = new ArrayList<Query>();
queries.put(sql, list);
}
list.add(query);
}
}
finally {
records[i].attach(previous);
}
}
我可以这样做（因为 Jooq 在内部做同样的事情）：
records.forEach(UpdatableRecord::insert);
而不是：
jooq.batchInsert(records).execute();
如何告诉 Jooq 以批处理模式创建新记录？我应该将记录转换为绑定查询然后调用 batchInsert 吗？有任何想法吗？ ;)
jOOQ 的 DSLContext.batchInsert() 为每组具有相同生成 SQL 字符串的连续记录创建一个 JDBC 批处理语句（不幸的是，Javadoc 没有正式定义）。
当您的记录如下所示时，这可能会成为问题：
+------+--------+--------+
| COL1 | COL2 | COL3 |
+------+--------+--------+
| 1* | {null} | {null} |
| 2* | B* | {null} |
| 3* | {null} | C* |
| 4* | D* | D* |
+------+--------+--------+
.. 因为在那种情况下，生成的 SQL 字符串将如下所示：
INSERT INTO t (col1) VALUES (?);
INSERT INTO t (col1, col2) VALUES (?, ?);
INSERT INTO t (col1, col3) VALUES (?, ?);
INSERT INTO t (col1, col2, col3) VALUES (?, ?, ?);
这种默认行为的原因是，这是保证... DEFAULT 行为的唯一方法。如 SQL DEFAULT。 I gave a rationale of this behaviour here.
考虑到这一点，并且由于每个连续的 SQL 字符串都是不同的，很遗憾，插入内容并没有像您预期的那样分批处理。
解决方案 1：确保所有更改的标志都是 true
强制所有 INSERT 语句相同的一种方法是将每个单独记录的所有更改标志设置为 true:
for (Record r : records)
r.changed(true);
现在，所有 SQL 个字符串都将相同。
解决方案 2：使用 Loader API
您可以导入数据（并在那里指定批大小）而不是批处理。有关详细信息，请参阅手册中有关导入记录的部分：
https://www.jooq.org/doc/latest/manual/sql-execution/importing/importing-records
解决方案 3：改用批处理语句
您对 batchInsert() 的使用很方便，在使用 TableRecords 时也很方便。但是，当然，您可以手动生成 INSERT 语句并使用 jOOQ 的批处理语句 API:
对各个绑定变量进行批处理
https://www.jooq.org/doc/latest/manual/sql-execution/batch-execution
性能说明
有几个关于 DSLContext.batchInsert() 和类似 API 的未决问题。为每个单独的记录生成 SQL 字符串的客户端算法效率低下，将来可能会更改，直接依赖 changed() 标志。一些相关问题：
我目前正在尝试批量插入许多记录 (~2000)，而 Jooq 的 batchInsert 没有按照我的意愿进行。
我正在将 POJO 转换为 UpdatableRecords，然后执行 batchInsert，它为每条记录执行插入。所以 Jooq 正在为每个批量插入执行约 2000 次查询，这会降低数据库性能。
它正在执行这段代码（jooq 的批量插入）：
for (int i = 0; i < records.length; i++) {
Configuration previous = ((AttachableInternal) records[i]).configuration();
try {
records[i].attach(local);
executeAction(i);
}
catch (QueryCollectorSignal e) {
Query query = e.getQuery();
String sql = e.getSQL();
// Aggregate executable queries by identical SQL
if (query.isExecutable()) {
List<Query> list = queries.get(sql);
if (list == null) {
list = new ArrayList<Query>();
queries.put(sql, list);
}
list.add(query);
}
}
finally {
records[i].attach(previous);
}
}
我可以这样做（因为 Jooq 在内部做同样的事情）：
records.forEach(UpdatableRecord::insert);
而不是：
jooq.batchInsert(records).execute();
如何告诉 Jooq 以批处理模式创建新记录？我应该将记录转换为绑定查询然后调用 batchInsert 吗？有任何想法吗？ ;)
jOOQ 的 DSLContext.batchInsert() 为每组具有相同生成 SQL 字符串的连续记录创建一个 JDBC 批处理语句（不幸的是，Javadoc 没有正式定义）。
当您的记录如下所示时，这可能会成为问题：
+------+--------+--------+
| COL1 | COL2 | COL3 |
+------+--------+--------+
| 1* | {null} | {null} |
| 2* | B* | {null} |
| 3* | {null} | C* |
| 4* | D* | D* |
+------+--------+--------+
.. 因为在那种情况下，生成的 SQL 字符串将如下所示：
INSERT INTO t (col1) VALUES (?);
INSERT INTO t (col1, col2) VALUES (?, ?);
INSERT INTO t (col1, col3) VALUES (?, ?);
INSERT INTO t (col1, col2, col3) VALUES (?, ?, ?);
这种默认行为的原因是，这是保证... DEFAULT 行为的唯一方法。如 SQL DEFAULT。 I gave a rationale of this behaviour here.
考虑到这一点，并且由于每个连续的 SQL 字符串都是不同的，很遗憾，插入内容并没有像您预期的那样分批处理。
解决方案 1：确保所有更改的标志都是 true
强制所有 INSERT 语句相同的一种方法是将每个单独记录的所有更改标志设置为 true:
for (Record r : records)
r.changed(true);
现在，所有 SQL 个字符串都将相同。
解决方案 2：使用 Loader API
您可以导入数据（并在那里指定批大小）而不是批处理。有关详细信息，请参阅手册中有关导入记录的部分：
https://www.jooq.org/doc/latest/manual/sql-execution/importing/importing-records
解决方案 3：改用批处理语句
您对 batchInsert() 的使用很方便，在使用 TableRecords 时也很方便。但是，当然，您可以手动生成 INSERT 语句并使用 jOOQ 的批处理语句 API:
https://www.jooq.org/doc/latest/manual/sql-execution/batch-execution
性能说明
有几个关于 DSLContext.batchInsert() 和类似 API 的未决问题。为每个单独的记录生成 SQL 字符串的客户端算法效率低下，将来可能会更改，直接依赖 changed() 标志。一些相关问题：