使用 JPA 或中间件延迟写入数据库
Delayed writes to database using JPA or a middleware
我不知道怎么说，但我正在研究一种延迟写入 MySQL 数据库的方法。我的应用程序从 Twitter 进行数据挖掘，它每分钟接收大约 2800 条推文，其中大部分是新的，必须作为新插入进入数据库，而左边的推文不是新的，作为更新进入我的数据库。这意味着我的应用程序一直在写入和读取数据库，导致磁盘使用率达到 99%，并使应用程序变得有点慢和瓶颈。我正在使用具有弱软缓存的 EclipseLink，它可以很好地读取，但我也需要一些用于写入的东西，以使它们在内存中保留一段时间，并在一次访问中一起刷新。我的问题是是否有一些框架或中间件可以自动执行此操作。我想我可以重写我的代码来累积我的实体，直到达到某个限制并将它们全部保存在一个事务中，但在我看来，这已经可以实现，可以从我的代码中透明地完成。
您可以考虑引入 Coherence or a similar product into your stack. Your requirement is covered with Write-Behind caching。
我不知道怎么说，但我正在研究一种延迟写入 MySQL 数据库的方法。我的应用程序从 Twitter 进行数据挖掘，它每分钟接收大约 2800 条推文，其中大部分是新的，必须作为新插入进入数据库，而左边的推文不是新的，作为更新进入我的数据库。这意味着我的应用程序一直在写入和读取数据库，导致磁盘使用率达到 99%，并使应用程序变得有点慢和瓶颈。我正在使用具有弱软缓存的 EclipseLink，它可以很好地读取，但我也需要一些用于写入的东西，以使它们在内存中保留一段时间，并在一次访问中一起刷新。我的问题是是否有一些框架或中间件可以自动执行此操作。我想我可以重写我的代码来累积我的实体，直到达到某个限制并将它们全部保存在一个事务中，但在我看来，这已经可以实现，可以从我的代码中透明地完成。
您可以考虑引入 Coherence or a similar product into your stack. Your requirement is covered with Write-Behind caching。