Mongo 在我可以用 query.Count() 验证之前写入 query.UpsertId 多个文档
Mongo writes query.UpsertId multiple documents before I can validate with query.Count()
描述: 我在我的项目中使用 mongoDB。当用户试图出售他的物品时,这是处理程序的简短逻辑。在向 mongo 提供报价之前,我验证了报价,因此不会有保存 assetId
的有效报价
使用:
mgo.v2
mongo 3.6
golang 1.10
问题: 如果用户点击速度非常快,会向我的处理程序发送多个请求(假设他快速双击鼠标),验证将无法正常工作,因为看起来第一个报价还不在集合中,因此我得到 2-3 个具有相同 assetId 的报价。
我试过了
- 设置mongoUrl?replicaSet=rs0,这样我们的master和slave现在就可以互相了解了
- 验证后设置time.Sleep(200 * time.Millisecond)
问题:
有什么办法可以用 mongo 工具来处理这个问题,或者有人会建议一些其他的解决方法?
提前致谢!
count, _ := r.DB.C(sellOfferCollectionName).Find(
bson.M{
"state": someState,
"asset_id": assetId,
"seller_id": seller,
},
).Count()
if count > 0 {
return
}
id := uuid.New().String()
OfferModel := Offer{
Id: id,
AssetId: assetId,
State: someState,
SellerId: sellerId,
CreatingDate: time.Now(),
}
if _, err := r.DB.C(sellOfferCollectionName).UpsertId(offer.Id, offer); err != nil {
return err
}
更新
我试图重现这个问题。所以我写了这个小测试代码,结果在验证(计数> 0)工作之前设法写了 60 个文档。这个例子完全重现了我的问题。
type User struct {
Id string `bson:"_id"`
FirstName string `bson:"first_name"`
LastName string `bson:"last_name"`
State bool `bson:"state"`
}
func main() {
mongoSession, mgErr := mgo.Dial("127.0.0.1:27018")
if mgErr != nil {
panic(mgErr)
}
var mongoDbSession = mongoSession.DB("test_db")
for i := 0; i < 1000; i++ {
go func() {
count, _ := mongoDbSession.C("users").Find(
bson.M{
"state": true,
"first_name": "testUser",
},
).Count()
if count > 0 {
return
}
user := User{
Id: uuid.New().String(),
FirstName: "testUser",
LastName: "testLastName",
State: true,
}
if _, err := mongoDbSession.C("users").UpsertId(user.Id, user); err != nil {
panic(mgErr)
}
}()
}
count, _ := mongoDbSession.C("users").Find(
bson.M{
"state": true,
"first_name": "testUser",
},
).Count()
fmt.Println(count)
fmt.Scanln()
}
第一件事是在调用过程中禁用客户端的 "Send" 按钮,因此如果用户双击或三次单击,那将不起作用,因为第二次和后续调用将定位一个禁用的按钮,因此什么也不会发生。
如果同一个订单可能来自多个地方,你想保存多次,这已经足够了,也是正确的做法。
如果 ID 也来自客户端,并且给定 ID 可能只存在一个订单,那么接下来您要做的就是简单地使用订单 ID 作为 MongoDB 中的文档 ID : 分配并使用此值作为 MongoDB _id
字段。这将保证不存在具有相同订单 ID 的多个项目,第二次尝试插入订单将 return 出错。请注意,使用 Query.UpsertId()
总是会成功,如果不存在则插入文档,如果存在则更新它。 Query.Insert()
如果文档不存在则插入,如果文档已经存在则 return 报错。使用 UpsertId()
的 none 和 Insert()
将导致多个文档具有相同的 ID。
如果出于某种原因您不能或不想使用订单 ID 作为文档 ID,则为存储订单 ID 的 属性 定义一个唯一索引,有关详细信息,请参阅 MongoDB Unique Indexes.
请注意,使用 MongoDB _id
字段或另一个本身具有唯一索引的字段可确保您不能插入具有相同订单 ID 的多个文档(由 MongoDB 确保) .另请注意,即使您有一个包含多个 MongoDB 实例的集群,这也会起作用,因为写入(包括插入)总是发生在主节点上。因此不需要其他任何东西就可以在 multi-server 集群环境中工作。
最终,在仔细调查这个错误后,我们发现原因是当用户发送请求时,它是在 goroutine 中处理的。意味着很多请求 = 很多并发的 goroutines。因此,验证程序(检查报价是否在集合中)无法找到它,因为它还不在 mongo 中。所以,最后,我们决定使用 redis 作为我们的验证器。
这是简短的实现:
incr, err := redisClient.Incr(offer.AssetId).Result()
if err != nil {
return err
}
if incr > 1 {
return errors.New("ASSET_ALREADY_ON_SALE")
}
redisClient.Expire(offer.AssetId, time.Second*10)
希望它能帮助面临同样问题的人。
描述: 我在我的项目中使用 mongoDB。当用户试图出售他的物品时,这是处理程序的简短逻辑。在向 mongo 提供报价之前,我验证了报价,因此不会有保存 assetId
的有效报价使用:
mgo.v2
mongo 3.6
golang 1.10
问题: 如果用户点击速度非常快,会向我的处理程序发送多个请求(假设他快速双击鼠标),验证将无法正常工作,因为看起来第一个报价还不在集合中,因此我得到 2-3 个具有相同 assetId 的报价。
我试过了
- 设置mongoUrl?replicaSet=rs0,这样我们的master和slave现在就可以互相了解了
- 验证后设置time.Sleep(200 * time.Millisecond)
问题:
有什么办法可以用 mongo 工具来处理这个问题,或者有人会建议一些其他的解决方法?
提前致谢!
count, _ := r.DB.C(sellOfferCollectionName).Find(
bson.M{
"state": someState,
"asset_id": assetId,
"seller_id": seller,
},
).Count()
if count > 0 {
return
}
id := uuid.New().String()
OfferModel := Offer{
Id: id,
AssetId: assetId,
State: someState,
SellerId: sellerId,
CreatingDate: time.Now(),
}
if _, err := r.DB.C(sellOfferCollectionName).UpsertId(offer.Id, offer); err != nil {
return err
}
更新
我试图重现这个问题。所以我写了这个小测试代码,结果在验证(计数> 0)工作之前设法写了 60 个文档。这个例子完全重现了我的问题。
type User struct {
Id string `bson:"_id"`
FirstName string `bson:"first_name"`
LastName string `bson:"last_name"`
State bool `bson:"state"`
}
func main() {
mongoSession, mgErr := mgo.Dial("127.0.0.1:27018")
if mgErr != nil {
panic(mgErr)
}
var mongoDbSession = mongoSession.DB("test_db")
for i := 0; i < 1000; i++ {
go func() {
count, _ := mongoDbSession.C("users").Find(
bson.M{
"state": true,
"first_name": "testUser",
},
).Count()
if count > 0 {
return
}
user := User{
Id: uuid.New().String(),
FirstName: "testUser",
LastName: "testLastName",
State: true,
}
if _, err := mongoDbSession.C("users").UpsertId(user.Id, user); err != nil {
panic(mgErr)
}
}()
}
count, _ := mongoDbSession.C("users").Find(
bson.M{
"state": true,
"first_name": "testUser",
},
).Count()
fmt.Println(count)
fmt.Scanln()
}
第一件事是在调用过程中禁用客户端的 "Send" 按钮,因此如果用户双击或三次单击,那将不起作用,因为第二次和后续调用将定位一个禁用的按钮,因此什么也不会发生。
如果同一个订单可能来自多个地方,你想保存多次,这已经足够了,也是正确的做法。
如果 ID 也来自客户端,并且给定 ID 可能只存在一个订单,那么接下来您要做的就是简单地使用订单 ID 作为 MongoDB 中的文档 ID : 分配并使用此值作为 MongoDB _id
字段。这将保证不存在具有相同订单 ID 的多个项目,第二次尝试插入订单将 return 出错。请注意,使用 Query.UpsertId()
总是会成功,如果不存在则插入文档,如果存在则更新它。 Query.Insert()
如果文档不存在则插入,如果文档已经存在则 return 报错。使用 UpsertId()
的 none 和 Insert()
将导致多个文档具有相同的 ID。
如果出于某种原因您不能或不想使用订单 ID 作为文档 ID,则为存储订单 ID 的 属性 定义一个唯一索引,有关详细信息,请参阅 MongoDB Unique Indexes.
请注意,使用 MongoDB _id
字段或另一个本身具有唯一索引的字段可确保您不能插入具有相同订单 ID 的多个文档(由 MongoDB 确保) .另请注意,即使您有一个包含多个 MongoDB 实例的集群,这也会起作用,因为写入(包括插入)总是发生在主节点上。因此不需要其他任何东西就可以在 multi-server 集群环境中工作。
最终,在仔细调查这个错误后,我们发现原因是当用户发送请求时,它是在 goroutine 中处理的。意味着很多请求 = 很多并发的 goroutines。因此,验证程序(检查报价是否在集合中)无法找到它,因为它还不在 mongo 中。所以,最后,我们决定使用 redis 作为我们的验证器。
这是简短的实现:
incr, err := redisClient.Incr(offer.AssetId).Result()
if err != nil {
return err
}
if incr > 1 {
return errors.New("ASSET_ALREADY_ON_SALE")
}
redisClient.Expire(offer.AssetId, time.Second*10)
希望它能帮助面临同样问题的人。