Sequel (Ruby),如何以安全的方式递增和使用数据库计数器?

Sequel (Ruby), how to increment and use a DB counter in a safe way?

我找到了 4 "proper" 种方法:

  1. the cheat sheet for ActiveRecord users 中替代 ActiveRecord 的 incrementincrement_counter 应该是 album.values[:column] -= 1 # or += 1 for incrementalbum.update(:counter_name=>Sequel.+(:counter_name, 1))
  2. SO solution中建议update_sql效果相同s[:query_volume].update_sql(:queries => Sequel.expr(3) + :queries)
  3. 在一个 random thread 我找到了这个 dataset.update_sql(:exp => 'exp + 10'.lit)
  4. the Sequels API docs for update中我找到了这个解决方案http://sequel.jeremyevans.net/rdoc/classes/Sequel/Dataset.html#method-i-update

但 none 的解决方案实际上以安全、原子的方式更新了值和 return 结果。

基于 "adding a value and then saving" 的解决方案应该,afaik,在多处理环境中不确定地失败,导致错误,例如:

  1. 相册的计数器为 0
  2. 线程 A 和线程 B 都获取 album
  3. 线程 A 和线程 B 都递增 hash/model/etc
  4. 中的值
  5. 线程 A 和线程 B 都将计数器更新为相同的值
  6. 结果:A 和 B 都将计数器设置为 1 并使用计数器值 1
另一方面,

Sequel.exprSequel.+ 实际上并不是 return 值,而是 Sequel::SQL::NumericExpression 和(afaik)你无法获得它没有进行另一次数据库往返,这意味着这可能发生:

  1. 相册的计数器为 0
  2. 线程A和B都自增value,value自增2
  3. 线程 A 和 B 都从数据库中获取行
  4. 结果:A 和 B 都将计数器设置为 2 并使用计数器值 2

那么,除了编写自定义锁定代码之外,解决方案是什么?如果有 none,除了编写自定义锁定代码 :) 最好的方法是什么?

更新 1

我通常不满意那些说我想要太多生活的答案,正如 1 个答案所暗示的那样:)

相册只是文档中的一个示例。

例如,假设您在电子商务 POS 上有一个交易柜台,它可以在不同的主机上同时接受 2 笔交易,并且您需要向银行发送一个 24 小时内唯一的整数计数器(称为systan),使用相同的 systan 发送 2 个 trx,1 个将被拒绝,或者更糟的是,计数中的差距会被警告(因为它们暗示 "missing transactions")所以不可能使用 DB 的 ID 值。

一个不太严重但与我的用例更相关的示例,多个文件导出在后台工作程序中同时触发,每个文件目标都有自己的计数器。计数器中的间隙会被警告,工作人员在不同的主机上(因此互斥量没有用)。而且我有一种感觉,无论如何我很快就会解决更严重的问题。

DB 序列也不好,因为这意味着在添加每个终端时执行 DDL,而我们在这里谈论的是 1000s。即使在我不太严重的用例中,网络门户操作上的 DDLing 仍然是一个 PITA,甚至可能无法工作,具体取决于下面的缓存方案(由于 ActiveRecordSequel 的实施 - 在我的情况下我两者都使用 - 可能需要重新启动服务器才能注册商家)。

Redis 可以做到这一点,但是当您坐在符合 ACID 的数据库上时,为计数器添加另一个基础结构组件似乎很疯狂。

答案是——在多线程环境中,不要使用数据库计数器。遇到这种困境时:

  1. 如果我需要一个唯一的整数计数器,请使用线程安全计数器生成器,该生成器可在线程需要时将计数器分包出去。这可以是一个简单的整数或更复杂的东西,例如类似 Twitter Snowflake 的生成器。
  2. 如果我需要一个唯一标识符,我会使用类似 uuid 的东西

在您的特定情况下,您需要对专辑进行计数 - 是否有理由在数据库中需要它而不是将其作为模型中的派生字段?

更新 1:

鉴于您正在处理与多台主机上的工作人员进行近似文件导出的事情,您要么需要提前分配 ID(即,为工作人员提供一份工作和来自单个规范来源的下一个可用 ID ) 或者让工作人员调用中央服务,该服务按先到先得的原则分配事务 ID。

我想不出其他方法。我从未使用过 POS 系统,但我使用过的电信网络配置系统通常使用单个事务生成器服务,该服务根据需要对 id 进行命名空间。

如果您使用的是 PostgreSQL,则可以使用 UPDATE RETURNING:DB[:table].returning(:counter).update(:counter => Sequel.expr(1) + :counter)

但是,如果不支持 UPDATE RETURNING 或类似的东西,就无法在 return 递增值的同时自动递增。