Spring 数据 JPA HIbernate 批量插入速度较慢

Question

我使用 Spring 数据、Spring 引导和 Hibernate 作为 JPA 提供程序，我想提高批量插入的性能。

我参考这个link使用批处理：

http://docs.jboss.org/hibernate/orm/4.1/manual/en-US/html/ch15.html

这是我的代码和我的 application.properties 插入批处理实验。

我的服务：

    @Value("${spring.jpa.properties.hibernate.jdbc.batch_size}")
    private int batchSize;

    @PersistenceContext
    private EntityManager em;

    @Override
    @Transactional(propagation = Propagation.REQUIRED)
    public SampleInfoJson getSampleInfoByCode(String code) {
//        SampleInfo newSampleInfo = new SampleInfo();
//        newSampleInfo.setId(5L);
//        newSampleInfo.setCode("SMP-5");
//        newSampleInfo.setSerialNumber(10L);
//        sampleInfoDao.save(newSampleInfo);
        log.info("starting... inserting...");
        for (int i = 1; i <= 5000; i++) {
            SampleInfo newSampleInfo = new SampleInfo();
//            Long id = (long)i + 4;
//            newSampleInfo.setId(id);
            newSampleInfo.setCode("SMPN-" + i);
            newSampleInfo.setSerialNumber(10L + i);
//            sampleInfoDao.save(newSampleInfo);
            em.persist(newSampleInfo);
            if(i%batchSize == 0){
                log.info("flushing...");
                em.flush();
                em.clear();
            }
        }

application.properties 中与批处理相关的部分：

spring.jpa.properties.hibernate.jdbc.batch_size=100
spring.jpa.properties.hibernate.cache.use_second_level_cache=false
spring.jpa.properties.hibernate.order_inserts=true
spring.jpa.properties.hibernate.order_updates=true

实体class:

@Entity
@Table(name = "sample_info")
public class SampleInfo implements Serializable{

    private Long id;
    private String code;
    private Long serialNumber;

    @Id
    @GeneratedValue(
            strategy = GenerationType.SEQUENCE,
            generator = "sample_info_seq_gen"
    )
    @SequenceGenerator(
            name = "sample_info_seq_gen",
            sequenceName = "sample_info_seq",
            allocationSize = 1
    )
    @Column(name = "id")
    public Long getId() {
        return id;
    }

    public void setId(Long id) {
        this.id = id;
    }

    @Column(name = "code", nullable = false)
    public String getCode() {
        return code;
    }

    public void setCode(String code) {
        this.code = code;
    }

    @Column(name = "serial_number")
    public Long getSerialNumber() {
        return serialNumber;
    }

    public void setSerialNumber(Long serialNumber) {
        this.serialNumber = serialNumber;
    }
}

运行批量插入 5000 行以上的服务需要 30 到 35 秒才能完成，但如果评论这些行：

if(i%batchSize == 0){
    log.info("flushing...");
    em.flush();
    em.clear();
}

插入 5000 行只用了 5 到 7 秒，比批处理模式更快。

为什么使用批处理模式会变慢？

Answer 1

那是因为 EntityManager 不会立即将数据保存在数据库中。当您调用 flush() 时，数据将被保留。当您评论这些行时，EntityManager 会根据 flush-mode 参数刷新数据，直接调用 flush 告诉 EntityManager 在数据库中执行查询。

Spring 数据 JPA HIbernate 批量插入速度较慢

Spring Data JPA HIbernate batch insert is slower

hibernate

jpa

batch-processing

spring-data