MySQL 复合主键死锁并触发自动增量
MySQL deadlocks with composite primary key and trigger autoincrement
我有独立的服务器和 2000 个在线用户（不是很多）。
MySQL DB 5.6 with table request_action（没有自动增量的复合PK但是增量在触发器中，你可以在下面看到它）：
CREATE TABLE `request_action` (
`ra_id` bigint(20) NOT NULL,
`cl_id` int(11) NOT NULL DEFAULT '0',
`ra_r_id` bigint(20) NOT NULL,
`ra_tr_id` bigint(20) DEFAULT '0',
`ra_ss_id` bigint(20) NOT NULL DEFAULT '0',
`ra_h_id` int(11) NOT NULL DEFAULT '0',
`ra_uch_id` bigint(20) DEFAULT '0',
`ra_u_id` int(11) DEFAULT '0',
`ra_datetime` datetime NOT NULL,
`ra_uct_id` int(11) NOT NULL DEFAULT '0',
`ra_text` longtext NOT NULL,
`ra_datetime_reply` datetime NOT NULL,
`ra_reply` longtext NOT NULL,
`ra_line_breaks` tinyint(4) NOT NULL DEFAULT '0',
`ra_plan` tinyint(4) NOT NULL DEFAULT '0',
`ra_shw` tinyint(4) NOT NULL DEFAULT '1',
`ra_to_u_id` int(11) DEFAULT '0',
`ra_created_at` datetime DEFAULT NULL,
`ra_seen` tinyint(4) NOT NULL DEFAULT '0',
`ra_seen_u_id` bigint(20) NOT NULL DEFAULT '0',
PRIMARY KEY (`cl_id`,`ra_id`),
KEY `rm_r_id` (`ra_r_id`),
KEY `ra_u_id` (`ra_u_id`),
KEY `ra_plan` (`ra_plan`),
KEY `ra_rat_id` (`ra_ss_id`),
KEY `ra_h_id` (`ra_h_id`),
KEY `ra_tr_id` (`ra_tr_id`),
KEY `ra_id` (`ra_id`),
KEY `ra_datetime` (`ra_datetime`,`ra_seen`),
KEY `ra_shw` (`ra_shw`,`ra_seen`,`ra_to_u_id`),
KEY `ra_r_id` (`ra_r_id`,`ra_tr_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
触发器 table（插入前）：
if (cast(NEW.ra_id as UNSIGNED) = 0) then
SET NEW.ra_id = (SELECT COALESCE(MAX(ra_id)+1, 1) FROM request_action WHERE cl_id = NEW.cl_id);
end if
而且我一天有很多次死锁（（例如，一天有 100 次。
LATEST DETECTED DEADLOCK
------------------------
2019-02-21 21:09:34 7f5e11f3b700
*** (1) TRANSACTION:
TRANSACTION 2947112777, ACTIVE 0 sec inserting
mysql tables in use 11, locked 11
LOCK WAIT 5 lock struct(s), heap size 1184, 3 row lock(s)
MySQL thread id 19952598, OS thread handle 0x7f5e10e38700, query id 248552715 192.168.0.7 vh_uon_com_ru
insert into request_action (
ra_r_id,
ra_u_id,
ra_datetime,
ra_text,
ra_datetime_reply,
ra_reply,
ra_plan,
cl_id,
ra_tr_id,
ra_ss_id,
ra_h_id,
ra_uch_id,
ra_to_u_id,
ra_uct_id,
ra_shw
) values (
40053,
906,
'2019-02-21 21:09:34',
'Звонок',
'2019-02-21 21:09:34',
'',
'0',
698,
0,
0,
0,
171114,
0,
*** (1) WAITING FOR THIS LOCK TO BE GRANTED:
RECORD LOCKS space id 2320 page no 546708 n bits 104 index `PRIMARY` of table `request_action` trx id 2947112777 lock_mode X locks gap before rec insert intention waiting
*** (2) TRANSACTION:
TRANSACTION 2947112774, ACTIVE 0 sec inserting
mysql tables in use 11, locked 11
5 lock struct(s), heap size 1184, 3 row lock(s)
MySQL thread id 19952597, OS thread handle 0x7f5e11f3b700, query id 248552705 192.168.0.7
insert into request_action (
ra_r_id,
ra_u_id,
ra_datetime,
ra_text,
ra_datetime_reply,
ra_reply,
ra_plan,
cl_id,
ra_tr_id,
ra_ss_id,
ra_h_id,
ra_uch_id,
ra_to_u_id,
ra_uct_id,
ra_shw
) values (
25182,
906,
'2019-02-21 21:09:34',
'Звонок',
'2019-02-21 21:09:34',
'',
'0',
698,
0,
0,
0,
171113,
0,
*** (2) HOLDS THE LOCK(S):
RECORD LOCKS space id 2320 page no 546708 n bits 104 index `PRIMARY` of table `request_action` trx id 2947112774 lock mode S locks gap before rec
*** (2) WAITING FOR THIS LOCK TO BE GRANTED:
RECORD LOCKS space id 2320 page no 546708 n bits 104 index `PRIMARY` of table `request_action` trx id 2947112774 lock_mode X locks gap before rec insert intention waiting
*** WE ROLL BACK TRANSACTION (2)
在my.cf中我们有以下选项：
max_connections = 10000
key_buffer_size = 1024M
join_buffer_size = 256M
read_buffer_size = 256M
sort_buffer_size = 256M
tmp_table_size = 512M
read_rnd_buffer_size = 8M
max_heap_table_size = 512M
thread_cache_size = 8192
query_cache_type = 1
query_cache_size = 15G
wait_timeout = 6000
connect_timeout = 15
interactive_timeout = 60
max_allowed_packet = 512M
bulk_insert_buffer_size = 64M
innodb_log_file_size = 512M
innodb_log_buffer_size = 2G
innodb_buffer_pool_size = 20G
你能帮我解决死锁问题吗？我该如何解决？我应该在死锁中重新运行查询吗？
TL;DR -- 当您尝试为每个不同 cl_id 生成一个新的递增 id 时，您不能进行并发插入。您必须使用 table-lock 来执行此操作，导致并发插入 运行 串行。
AUTO_INCREMENT 绕过这个死锁的原因是它获得了一个简短的 table 锁来生成下一个 ID。从技术上讲，这会导致所有执行 INSERT 操作的并发会话串行执行。幸运的是，table-lock 非常简短。默认情况下，它会在生成 id 后立即发布。您可以在这里阅读更多内容：https://dev.mysql.com/doc/refman/8.0/en/innodb-auto-increment-handling.html
而您生成 ID 的方法导致了死锁，因为它使用了两个 锁定操作：
- 一个用于创建行的 X 锁。
- 一个用于读取 table 的 S 锁。当您读取 table 作为 INSERT/UPDATE/DELETE 的一部分时，您会在读取的行上创建一个共享锁。
但是锁不是一起获取的，两个步骤之间有一个短暂的时间，这就是竞争条件发生的地方。我们可以通过使用两个 tables:
来证明这一点
mysql> create table foo ( id serial primary key);
mysql> insert into foo (id) values (1);
mysql> create table bar ( id serial primary key);
mysql> create trigger b before insert on bar
for each row set new.id=(select max(id) from foo);
现在我们在 bar 上有一个触发器，它将读取 foo 中的一些行以获得 max(id)。
mysql> begin;
mysql> insert into bar () values ();
这应该使用从 foo 中读取的值在 bar 中创建一个新行。但是交易还在进行中。
一秒钟后 window，执行此操作：
mysql> update foo set id = 2;
...
它挂起，等待它在 foo 上的 X 锁。它无法更新 foo，因为它上面已经有一个 S 锁，由第一个 window 中的会话放置。
回到第一个window和运行:
mysql> update foo set id = 3;
Query OK, 1 row affected (0.01 sec)
Rows matched: 1 Changed: 1 Warnings: 0
这会创建一个循环锁等待，这就是死锁。两个事务都在等待另一个事务持有的锁。我们在第二个 window 中看到该事务被终止：
mysql> update foo set id = 2;
...
ERROR 1213 (40001): Deadlock found when trying to get lock; try restarting transaction
"How can I fix it? Should I rerun queries in deadlocks?"
一种解决方法是强制并发会话运行串行，方法是在尝试之前获取对您的 INSERT 或触发器引用的所有 table 的 table 锁插入。
mysql> begin;
mysql> lock tables foo write, bar write;
mysql> insert into bar () values ();
第二个 window 挂起，但它挂在 table 锁上，这次不是行锁。
mysql> update foo set id = 2;
...
在第一个window中完成交易。解锁 table 锁会隐式提交事务。
mysql> unlock tables;
第二个 window 停止等待，并成功完成更新。
mysql> update foo set id = 2;
...
Query OK, 1 row affected (3.50 sec)
Rows matched: 1 Changed: 1 Warnings: 0
请注意，它已经等待了 3.5 秒，这是我返回第一个 window 并提交事务所用的时间。
连续插入会话会限制应用程序的吞吐量，因为会话正在排队。但它避免了死锁。
我有独立的服务器和 2000 个在线用户（不是很多）。 MySQL DB 5.6 with table request_action（没有自动增量的复合PK但是增量在触发器中，你可以在下面看到它）：
CREATE TABLE `request_action` (
`ra_id` bigint(20) NOT NULL,
`cl_id` int(11) NOT NULL DEFAULT '0',
`ra_r_id` bigint(20) NOT NULL,
`ra_tr_id` bigint(20) DEFAULT '0',
`ra_ss_id` bigint(20) NOT NULL DEFAULT '0',
`ra_h_id` int(11) NOT NULL DEFAULT '0',
`ra_uch_id` bigint(20) DEFAULT '0',
`ra_u_id` int(11) DEFAULT '0',
`ra_datetime` datetime NOT NULL,
`ra_uct_id` int(11) NOT NULL DEFAULT '0',
`ra_text` longtext NOT NULL,
`ra_datetime_reply` datetime NOT NULL,
`ra_reply` longtext NOT NULL,
`ra_line_breaks` tinyint(4) NOT NULL DEFAULT '0',
`ra_plan` tinyint(4) NOT NULL DEFAULT '0',
`ra_shw` tinyint(4) NOT NULL DEFAULT '1',
`ra_to_u_id` int(11) DEFAULT '0',
`ra_created_at` datetime DEFAULT NULL,
`ra_seen` tinyint(4) NOT NULL DEFAULT '0',
`ra_seen_u_id` bigint(20) NOT NULL DEFAULT '0',
PRIMARY KEY (`cl_id`,`ra_id`),
KEY `rm_r_id` (`ra_r_id`),
KEY `ra_u_id` (`ra_u_id`),
KEY `ra_plan` (`ra_plan`),
KEY `ra_rat_id` (`ra_ss_id`),
KEY `ra_h_id` (`ra_h_id`),
KEY `ra_tr_id` (`ra_tr_id`),
KEY `ra_id` (`ra_id`),
KEY `ra_datetime` (`ra_datetime`,`ra_seen`),
KEY `ra_shw` (`ra_shw`,`ra_seen`,`ra_to_u_id`),
KEY `ra_r_id` (`ra_r_id`,`ra_tr_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
触发器 table（插入前）：
if (cast(NEW.ra_id as UNSIGNED) = 0) then
SET NEW.ra_id = (SELECT COALESCE(MAX(ra_id)+1, 1) FROM request_action WHERE cl_id = NEW.cl_id);
end if
而且我一天有很多次死锁（（例如，一天有 100 次。
LATEST DETECTED DEADLOCK
------------------------
2019-02-21 21:09:34 7f5e11f3b700
*** (1) TRANSACTION:
TRANSACTION 2947112777, ACTIVE 0 sec inserting
mysql tables in use 11, locked 11
LOCK WAIT 5 lock struct(s), heap size 1184, 3 row lock(s)
MySQL thread id 19952598, OS thread handle 0x7f5e10e38700, query id 248552715 192.168.0.7 vh_uon_com_ru
insert into request_action (
ra_r_id,
ra_u_id,
ra_datetime,
ra_text,
ra_datetime_reply,
ra_reply,
ra_plan,
cl_id,
ra_tr_id,
ra_ss_id,
ra_h_id,
ra_uch_id,
ra_to_u_id,
ra_uct_id,
ra_shw
) values (
40053,
906,
'2019-02-21 21:09:34',
'Звонок',
'2019-02-21 21:09:34',
'',
'0',
698,
0,
0,
0,
171114,
0,
*** (1) WAITING FOR THIS LOCK TO BE GRANTED:
RECORD LOCKS space id 2320 page no 546708 n bits 104 index `PRIMARY` of table `request_action` trx id 2947112777 lock_mode X locks gap before rec insert intention waiting
*** (2) TRANSACTION:
TRANSACTION 2947112774, ACTIVE 0 sec inserting
mysql tables in use 11, locked 11
5 lock struct(s), heap size 1184, 3 row lock(s)
MySQL thread id 19952597, OS thread handle 0x7f5e11f3b700, query id 248552705 192.168.0.7
insert into request_action (
ra_r_id,
ra_u_id,
ra_datetime,
ra_text,
ra_datetime_reply,
ra_reply,
ra_plan,
cl_id,
ra_tr_id,
ra_ss_id,
ra_h_id,
ra_uch_id,
ra_to_u_id,
ra_uct_id,
ra_shw
) values (
25182,
906,
'2019-02-21 21:09:34',
'Звонок',
'2019-02-21 21:09:34',
'',
'0',
698,
0,
0,
0,
171113,
0,
*** (2) HOLDS THE LOCK(S):
RECORD LOCKS space id 2320 page no 546708 n bits 104 index `PRIMARY` of table `request_action` trx id 2947112774 lock mode S locks gap before rec
*** (2) WAITING FOR THIS LOCK TO BE GRANTED:
RECORD LOCKS space id 2320 page no 546708 n bits 104 index `PRIMARY` of table `request_action` trx id 2947112774 lock_mode X locks gap before rec insert intention waiting
*** WE ROLL BACK TRANSACTION (2)
在my.cf中我们有以下选项：
max_connections = 10000
key_buffer_size = 1024M
join_buffer_size = 256M
read_buffer_size = 256M
sort_buffer_size = 256M
tmp_table_size = 512M
read_rnd_buffer_size = 8M
max_heap_table_size = 512M
thread_cache_size = 8192
query_cache_type = 1
query_cache_size = 15G
wait_timeout = 6000
connect_timeout = 15
interactive_timeout = 60
max_allowed_packet = 512M
bulk_insert_buffer_size = 64M
innodb_log_file_size = 512M
innodb_log_buffer_size = 2G
innodb_buffer_pool_size = 20G
你能帮我解决死锁问题吗？我该如何解决？我应该在死锁中重新运行查询吗？
TL;DR -- 当您尝试为每个不同 cl_id 生成一个新的递增 id 时，您不能进行并发插入。您必须使用 table-lock 来执行此操作，导致并发插入 运行 串行。
AUTO_INCREMENT 绕过这个死锁的原因是它获得了一个简短的 table 锁来生成下一个 ID。从技术上讲，这会导致所有执行 INSERT 操作的并发会话串行执行。幸运的是，table-lock 非常简短。默认情况下，它会在生成 id 后立即发布。您可以在这里阅读更多内容：https://dev.mysql.com/doc/refman/8.0/en/innodb-auto-increment-handling.html
而您生成 ID 的方法导致了死锁，因为它使用了两个 锁定操作：
- 一个用于创建行的 X 锁。
- 一个用于读取 table 的 S 锁。当您读取 table 作为 INSERT/UPDATE/DELETE 的一部分时，您会在读取的行上创建一个共享锁。
但是锁不是一起获取的，两个步骤之间有一个短暂的时间，这就是竞争条件发生的地方。我们可以通过使用两个 tables:
来证明这一点mysql> create table foo ( id serial primary key);
mysql> insert into foo (id) values (1);
mysql> create table bar ( id serial primary key);
mysql> create trigger b before insert on bar
for each row set new.id=(select max(id) from foo);
现在我们在 bar 上有一个触发器，它将读取 foo 中的一些行以获得 max(id)。
mysql> begin;
mysql> insert into bar () values ();
这应该使用从 foo 中读取的值在 bar 中创建一个新行。但是交易还在进行中。
一秒钟后 window，执行此操作：
mysql> update foo set id = 2;
...
它挂起，等待它在 foo 上的 X 锁。它无法更新 foo，因为它上面已经有一个 S 锁，由第一个 window 中的会话放置。
回到第一个window和运行:
mysql> update foo set id = 3;
Query OK, 1 row affected (0.01 sec)
Rows matched: 1 Changed: 1 Warnings: 0
这会创建一个循环锁等待，这就是死锁。两个事务都在等待另一个事务持有的锁。我们在第二个 window 中看到该事务被终止：
mysql> update foo set id = 2;
...
ERROR 1213 (40001): Deadlock found when trying to get lock; try restarting transaction
"How can I fix it? Should I rerun queries in deadlocks?"
一种解决方法是强制并发会话运行串行，方法是在尝试之前获取对您的 INSERT 或触发器引用的所有 table 的 table 锁插入。
mysql> begin;
mysql> lock tables foo write, bar write;
mysql> insert into bar () values ();
第二个 window 挂起，但它挂在 table 锁上，这次不是行锁。
mysql> update foo set id = 2;
...
在第一个window中完成交易。解锁 table 锁会隐式提交事务。
mysql> unlock tables;
第二个 window 停止等待，并成功完成更新。
mysql> update foo set id = 2;
...
Query OK, 1 row affected (3.50 sec)
Rows matched: 1 Changed: 1 Warnings: 0
请注意，它已经等待了 3.5 秒，这是我返回第一个 window 并提交事务所用的时间。
连续插入会话会限制应用程序的吞吐量，因为会话正在排队。但它避免了死锁。