优化更新查询功能,使用异步更新超过 1000 条记录
optimise update query function which update more than 1000 records using async
我有一个函数可以根据特定条件更新超过 1000 条记录。但是当我 运行 这个函数时,我得到 Too many connection
错误,因为只有一半的记录得到更新。
如何使用 async 使此功能 运行 ?它应该一次性更新所有记录
代码:
db.query("select *, date(login) as login_date from userRegister where logout IS NULL limit 10", function (err, user) {
if (!_.size(user))
return
var byCatId = _.groupBy(user, 'catId');
var grouppedArray = _.map(byCatId, function(array) {
return _.groupBy(array, 'login_date')
});
var i, j, k
for (i in grouppedArray) {
if (grouppedArray.hasOwnProperty(i)) {
for (j in grouppedArray[i]) {
if (grouppedArray[i].hasOwnProperty(j)) {
if (grouppedArray[i][j].length > 1) {
for(var k=0;k<grouppedArray[i][j].length;k++){
if(grouppedArray[i][j][k+1]){
var updatedLogOut = moment(grouppedArray[i][j][k+1].login).subtract(1, 'minutes').format('YYYY-MM-DD HH:mm:ss')
async.eachSeries(db.query('update userRegister set logout= ? where userId = ? and catId = ?', [updatedLogOut, 1, grouppedArray[i][j][k].userId, grouppedArray[i][j][k].catId], function (err, updatedLogout) {
if (err) {
console.log(err)
return err
}
if (!_.size(updatedLogout))
return
console.log("Updated Successfully")
return updatedLogout
})
}
}
}
}
}
}
}
})
根据 docs 第一个参数是可迭代对象。您可以传递所有必须更新的查询数组作为第一个参数,以及在执行时处理每个项目的函数。
更新代码,未经测试。
var queries = []
var i, j, k
for (i in grouppedArray) {
if (grouppedArray.hasOwnProperty(i)) {
for (j in grouppedArray[i]) {
if (grouppedArray[i].hasOwnProperty(j)) {
if (grouppedArray[i][j].length > 1) {
for (var k = 0; k < grouppedArray[i][j].length; k++) {
if (grouppedArray[i][j][k + 1]) {
var updatedLogOut = moment(grouppedArray[i][j][k + 1].login).subtract(1, 'minutes').format('YYYY-MM-DD HH:mm:ss')
queries.push([updatedLogOut, 1, grouppedArray[i][j][k].userId, grouppedArray[i][j][k].catId])
}
}
}
}
}
}
}
async.eachSeries(queries,
function(item, done){
db.query('update userRegister set logout= ? where userId = ? and catId = ?', item , function (err, updatedLogout) {
done(err)
})
})
希望对您有所帮助
我有一个函数可以根据特定条件更新超过 1000 条记录。但是当我 运行 这个函数时,我得到 Too many connection
错误,因为只有一半的记录得到更新。
如何使用 async 使此功能 运行 ?它应该一次性更新所有记录
代码:
db.query("select *, date(login) as login_date from userRegister where logout IS NULL limit 10", function (err, user) {
if (!_.size(user))
return
var byCatId = _.groupBy(user, 'catId');
var grouppedArray = _.map(byCatId, function(array) {
return _.groupBy(array, 'login_date')
});
var i, j, k
for (i in grouppedArray) {
if (grouppedArray.hasOwnProperty(i)) {
for (j in grouppedArray[i]) {
if (grouppedArray[i].hasOwnProperty(j)) {
if (grouppedArray[i][j].length > 1) {
for(var k=0;k<grouppedArray[i][j].length;k++){
if(grouppedArray[i][j][k+1]){
var updatedLogOut = moment(grouppedArray[i][j][k+1].login).subtract(1, 'minutes').format('YYYY-MM-DD HH:mm:ss')
async.eachSeries(db.query('update userRegister set logout= ? where userId = ? and catId = ?', [updatedLogOut, 1, grouppedArray[i][j][k].userId, grouppedArray[i][j][k].catId], function (err, updatedLogout) {
if (err) {
console.log(err)
return err
}
if (!_.size(updatedLogout))
return
console.log("Updated Successfully")
return updatedLogout
})
}
}
}
}
}
}
}
})
根据 docs 第一个参数是可迭代对象。您可以传递所有必须更新的查询数组作为第一个参数,以及在执行时处理每个项目的函数。
更新代码,未经测试。
var queries = []
var i, j, k
for (i in grouppedArray) {
if (grouppedArray.hasOwnProperty(i)) {
for (j in grouppedArray[i]) {
if (grouppedArray[i].hasOwnProperty(j)) {
if (grouppedArray[i][j].length > 1) {
for (var k = 0; k < grouppedArray[i][j].length; k++) {
if (grouppedArray[i][j][k + 1]) {
var updatedLogOut = moment(grouppedArray[i][j][k + 1].login).subtract(1, 'minutes').format('YYYY-MM-DD HH:mm:ss')
queries.push([updatedLogOut, 1, grouppedArray[i][j][k].userId, grouppedArray[i][j][k].catId])
}
}
}
}
}
}
}
async.eachSeries(queries,
function(item, done){
db.query('update userRegister set logout= ? where userId = ? and catId = ?', item , function (err, updatedLogout) {
done(err)
})
})
希望对您有所帮助