分块更新 MySQL table

Question

我正在尝试用 c 更新 MySQL InnoDB table。一亿行。查询时间将近一个小时，这不是问题。

但是，我想将此更新分成更小的块，以免阻塞 table 访问。此更新不必是孤立的事务。

同时，更新的拆分在额外开销方面不应太昂贵。

我考虑过使用的过程中遍历 table :

UPDATE TABLENAME SET NEWVAR=<expression> LIMIT batchsize, offset,

但 UPDATE 在 MySQL 中没有偏移选项。

我知道我可以尝试更新在键上选择的数据范围以及 LIMIT 选项，但是对于这个简单的任务来说这似乎相当复杂。

Answer 1

我完成了下面列出的程序。它有效，但我不确定所有查询识别连续范围是否有效。可以使用以下参数（示例）调用它：

call chunkUpdate('SET var=0','someTable','theKey',500000);

基本上，第一个参数是更新命令（例如 "set x = ..."），然后是 mysql table 名称，然后是一个数字（整数）键，它具有是唯一的，然后是要处理的块的大小。键应该有一个合理性能的索引。下面代码中的"n"变量和"select"语句可以去掉，仅供调试。

delimiter //
CREATE PROCEDURE chunkUpdate (IN cmd VARCHAR(255), IN tab VARCHAR(255), IN ky VARCHAR(255),IN sz INT)
BEGIN
  SET @sqlgetmin = CONCAT("SELECT MIN(",ky,")-1 INTO @minkey FROM ",tab); 
  SET @sqlgetmax = CONCAT("SELECT MAX(",ky,") INTO @maxkey FROM ( SELECT ",ky," FROM ",tab," WHERE ",ky,">@minkey ORDER BY ",ky," LIMIT ",sz,") AS TMP"); 
  SET @sqlstatement = CONCAT("UPDATE ",tab," ",cmd," WHERE ",ky,">@minkey AND ",ky,"<=@maxkey");
  SET @n=1;

  PREPARE getmin from @sqlgetmin;
  PREPARE getmax from @sqlgetmax;
  PREPARE statement from @sqlstatement;

  EXECUTE getmin;

  REPEAT
    EXECUTE getmax; 
    SELECT cmd,@n AS step, @minkey AS min, @maxkey AS max;
    EXECUTE statement;
    set @minkey=@maxkey;
    set @n=@n+1;
  UNTIL @maxkey IS NULL
  END REPEAT; 
  select CONCAT(cmd, " EXECUTED IN ",@n," STEPS") AS MESSAGE;
END//

分块更新 MySQL table

Update MySQL table in chunks

mysql

locking

sql-update