spring 如何在事务方法中清理持久实体的数据？

Question

我需要通过休眠使用 spring 数据接收和保存大量数据。我们的服务器分配的 RAM 不足以同时保存所有实体。我们肯定会得到 OutOfMemory 错误。

所以我们显然需要批量保存数据。此外，我们还需要使用 @Transactional 来确保在出现单个错误的情况下所有数据是否持久化。

所以，问题是：spring @Transactional 方法期间的数据是否继续将实体存储在 RAM 中，或者垃圾收集器可以访问已刷新的实体？

那么，用 spring 数据处理大量数据的最佳方法是什么？也许 spring 数据不是解决此类问题的正确方法。

Answer 1

Does spring data during @Transactional method keep storing entities in RAM or entities which were flushed are accessible to garbage collector?

实体将继续存储在 RAM 中（即在 entityManager 中），直到事务 commit/rollback 或 entityManager 被清除。这意味着实体只有在交易 commit/rollback 或 entityManager.clear() 被调用。

So, what is the best approach to process huge mount of data with spring data?

防止OOM的一般策略是批量加载和处理数据。在每个批次结束时，您应该刷新并清除 entityManager，以便 entityManager 可以释放其 CG 的托管实体。一般的代码流程应该是这样的：

@Component
public class BatchProcessor {

    //Spring will ensure this entityManager is the same as the one that start transaction due to  @Transactional
    @PersistenceContext
    private EntityManager em;

    @Autowired
    private FooRepository fooRepository;

    @Transactional
    public void startProcess(){

        processBatch(1,100);
        processBatch(101,200);
        processBatch(201,300);
        //blablabla

    }

    private void processBatch(int fromFooId , int toFooId){
        List<Foo> foos =  fooRepository.findFooIdBetween(fromFooId, toFooId);
        for(Foo foo :foos){
            //process a foo
        }

        /*****************************
        The reason to flush is send the update SQL to DB . 
        Otherwise ,the update will lost if we clear the entity manager 
        afterward.
        ******************************/
        em.flush();
        em.clear();
    }
}

注意这种做法只是为了防止OOM，并不是为了达到高性能。因此，如果您不关心性能，您可以放心地使用此策略。

spring 如何在事务方法中清理持久实体的数据？

How spring data clean persited entities in transactional method?

java

spring

hibernate

spring-data

transactional