如何写一个"recursive update"?
How to write a "recursive update"?
我在 table 中存储了某种树。它有 2 个键列 id
和 parent_id
。以及一些抽象数据,例如 name
和 mtime
。可以说这是一个文件系统。
我可以 select 全部 children 或全部 parents 来自特定的 id
。 (如 this answer 中所述)
问题是如何更新(或删除)这样的子树?
例如,我想更新某个节点的修改时间及其所有 children(或节点及其所有 parents 直到根)。或者用children删除这个节点。就性能而言,最好的方法是什么?这个table真的可以大到100M+或者记录。
DDL
create table test (
id int not null primary key,
parent_id int not null,
name varchar(100),
mtime timestamp default current_timestamp
);
insert into test(id, parent_id, name) values(1, 0, "row1");
insert into test(id, parent_id, name) values(2, 1, "row2");
insert into test(id, parent_id, name) values(3, 2, "row3");
insert into test(id, parent_id, name) values(4, 2, "row4");
insert into test(id, parent_id, name) values(5, 4, "row5");
insert into test(id, parent_id, name) values(6, 4, "row6");
insert into test(id, parent_id, name) values(7, 6, "row7");
是什么造就了这棵树:
row1
|
row2--row4--row5
| |
row3 row6
|
row7
--- 更新 Try1 ---
按照 Vladimir 的建议尝试了这个:
create procedure upd_test (start_id integer)
as
begin
WITH RECURSIVE
CTE (id)
AS
(
SELECT T.id
FROM test AS T
WHERE T.id = :start_id
UNION ALL
SELECT T.id
FROM
test AS T
INNER JOIN CTE ON CTE.id = T.parent_id
)
UPDATE test
SET mtime = '2001-02-03 10:11:12'
WHERE id IN (SELECT id FROM CTE);
end
得到:
Invalid token.
Dynamic SQL Error.
SQL error code = -104.
Token unknown - line 19, column 5.
UPDATE.
如您所说,您可以获得所有想要的 ID。
所以一种解决方案是:
Select所有要更新的ID存入#tmpid table
更新/删除
UPDATE t
SET t.mtime = GETDATE()
FROM dbo.TreeTable t INNER JOIN #tmpid i ON t.id = i.id
DELETE t FROM dbo.TreeTable t INNER JOIN #tmpid i ON t.id =i.id
但是:未测试!请检查您的数据量是否合适...
为了达到最佳性能,始终需要有有意义的索引:
CREATE UNIQUE CLUSTERED INDEX idx_treetable_id
ON dbo.TreeTable(id);
CREATE UNIQUE INDEX idx_treetable_unique
ON dbo.TreeTable(id,parent_id)
CREATE NONCLUSTERED INDEX idx_parent_id
ON dbo.TreeTable(parent_id);
GO
这不完全是您的解决方案,但您应该首先尝试进行递归 SELECT 语句。当您可以 SELECT 所有您想要的行时,您只需将其更改为 UPDATE 或 DELETE。
这是一个递归的例子 SELECT。为了能够对其进行全面测试,我需要大量数据,所以我想最好让您自己尝试一下。应该是这样的。
With Recurs AS
(
select id, name, parent_id
from test
union
select id, name, parent_id
from Recurs r
where id=r.parent_id
)
select *
from Recurs
order by id
option (maxrecursion 0)
确保您在 id
和 parent_id
上有索引,以便它有效地工作。
阅读 Firebird 上的文档后 (http://www.firebirdsql.org/file/documentation/reference_manuals/reference_material/html/langrefupd25-select.html#langrefupd25-select-cte)
- The maximum recursion depth is 1024 (so, you need to check if it is enough for your data)
- When enclosed in parentheses, CTE constructs can be used as subqueries in SELECT statements, but also in UPDATEs, MERGEs etc.
更新
我已经在 Windows 7 64bit 上安装了最新的 Firebird 2.5.3 来测试语法。
基于上述,将某个节点(例如 ID = 4
)及其所有子节点的时间戳更新为某个值(例如,2001-02-03 10:11:12
)的查询看起来像这个:
UPDATE TEST SET
MTIME = '2001-02-03 10:11:12'
WHERE ID IN
(
WITH RECURSIVE
CTE (id)
AS
(
SELECT T.id
FROM test AS T
WHERE T.id = 4
UNION ALL
SELECT T.id
FROM
test AS T
INNER JOIN CTE ON CTE.id = T.parent_id
)
SELECT id FROM CTE
);
我检查了一下,它按预期工作(ID 为 4、5、6、7 的行已更新)。
删除
同样的方法,即:
DELETE FROM TEST
WHERE ID IN
(
WITH RECURSIVE
CTE (id)
AS
(
SELECT T.id
FROM test AS T
WHERE T.id = 4
UNION ALL
SELECT T.id
FROM
test AS T
INNER JOIN CTE ON CTE.id = T.parent_id
)
SELECT id FROM CTE
);
运行 没有语法错误,但只删除了 行 id = 4
。我会称之为错误。
DELETE 临时 table
以下操作正确。提前创建一个global temporary table
。
临时文件只是table中的数据,而不是table本身,所以它必须提前创建,并且会保留在数据库中。默认情况下,此类临时 table 中的数据将在 t运行 操作结束时被清除。
CREATE GLOBAL TEMPORARY TABLE ToDelete
(id int not null primary key);
将递归 CTE 的结果插入临时 table,然后使用它从主 table 中删除找到的 ID。确保这两个语句 运行 在同一个 t运行saction.
INSERT INTO ToDelete
WITH RECURSIVE
CTE (id)
AS
(
SELECT T.id
FROM test AS T
WHERE T.id = 4
UNION ALL
SELECT T.id
FROM
test AS T
INNER JOIN CTE ON CTE.id = T.parent_id
)
SELECT id FROM CTE
;
DELETE FROM TEST
WHERE ID IN (SELECT ID FROM ToDelete)
;
我检查过,这按预期工作(ID 为 4、5、6、7 的行已被删除)。
如果您确定树的深度小于 1024,在 MYSQL 中您可以使用以下过程:
DELIMITER $$
CREATE PROCEDURE upd_test( IN start_id INT, IN str_date CHAR(20) )
BEGIN
DECLARE next_id INT DEFAULT NULL ;
UPDATE test
SET mtime = str_date
WHERE id = start_id;
SELECT parent_id FROM test WHERE id = start_id INTO next_id;
IF next_id > 0
THEN
CALL upd_test( next_id, str_date );
END IF;
END$$
DELIMITER ;
接下来,将递归深度设置为 1024(这显然是 Vladimir 提到的 Firebird 支持的最大值)和 运行 您的程序。
set max_sp_recursion_depth = 1024;
使用您给我们的示例,您可以使用给定日期时间的过程更新节点 6、4、2 和 1:
CALL upd_test( 6, '2001-02-03 10:11:12' );
您可以对从根开始并更改其所有子项的函数使用相同的方法。您可以再次使用相同的方法来创建删除过程。
我在 table 中存储了某种树。它有 2 个键列 id
和 parent_id
。以及一些抽象数据,例如 name
和 mtime
。可以说这是一个文件系统。
我可以 select 全部 children 或全部 parents 来自特定的 id
。 (如 this answer 中所述)
问题是如何更新(或删除)这样的子树?
例如,我想更新某个节点的修改时间及其所有 children(或节点及其所有 parents 直到根)。或者用children删除这个节点。就性能而言,最好的方法是什么?这个table真的可以大到100M+或者记录。
DDL
create table test (
id int not null primary key,
parent_id int not null,
name varchar(100),
mtime timestamp default current_timestamp
);
insert into test(id, parent_id, name) values(1, 0, "row1");
insert into test(id, parent_id, name) values(2, 1, "row2");
insert into test(id, parent_id, name) values(3, 2, "row3");
insert into test(id, parent_id, name) values(4, 2, "row4");
insert into test(id, parent_id, name) values(5, 4, "row5");
insert into test(id, parent_id, name) values(6, 4, "row6");
insert into test(id, parent_id, name) values(7, 6, "row7");
是什么造就了这棵树:
row1
|
row2--row4--row5
| |
row3 row6
|
row7
--- 更新 Try1 ---
按照 Vladimir 的建议尝试了这个:
create procedure upd_test (start_id integer)
as
begin
WITH RECURSIVE
CTE (id)
AS
(
SELECT T.id
FROM test AS T
WHERE T.id = :start_id
UNION ALL
SELECT T.id
FROM
test AS T
INNER JOIN CTE ON CTE.id = T.parent_id
)
UPDATE test
SET mtime = '2001-02-03 10:11:12'
WHERE id IN (SELECT id FROM CTE);
end
得到:
Invalid token.
Dynamic SQL Error.
SQL error code = -104.
Token unknown - line 19, column 5.
UPDATE.
如您所说,您可以获得所有想要的 ID。
所以一种解决方案是:
Select所有要更新的ID存入#tmpid table
更新/删除
UPDATE t SET t.mtime = GETDATE() FROM dbo.TreeTable t INNER JOIN #tmpid i ON t.id = i.id DELETE t FROM dbo.TreeTable t INNER JOIN #tmpid i ON t.id =i.id
但是:未测试!请检查您的数据量是否合适...
为了达到最佳性能,始终需要有有意义的索引:
CREATE UNIQUE CLUSTERED INDEX idx_treetable_id
ON dbo.TreeTable(id);
CREATE UNIQUE INDEX idx_treetable_unique
ON dbo.TreeTable(id,parent_id)
CREATE NONCLUSTERED INDEX idx_parent_id
ON dbo.TreeTable(parent_id);
GO
这不完全是您的解决方案,但您应该首先尝试进行递归 SELECT 语句。当您可以 SELECT 所有您想要的行时,您只需将其更改为 UPDATE 或 DELETE。
这是一个递归的例子 SELECT。为了能够对其进行全面测试,我需要大量数据,所以我想最好让您自己尝试一下。应该是这样的。
With Recurs AS
(
select id, name, parent_id
from test
union
select id, name, parent_id
from Recurs r
where id=r.parent_id
)
select *
from Recurs
order by id
option (maxrecursion 0)
确保您在 id
和 parent_id
上有索引,以便它有效地工作。
阅读 Firebird 上的文档后 (http://www.firebirdsql.org/file/documentation/reference_manuals/reference_material/html/langrefupd25-select.html#langrefupd25-select-cte)
- The maximum recursion depth is 1024 (so, you need to check if it is enough for your data)
- When enclosed in parentheses, CTE constructs can be used as subqueries in SELECT statements, but also in UPDATEs, MERGEs etc.
更新
我已经在 Windows 7 64bit 上安装了最新的 Firebird 2.5.3 来测试语法。
基于上述,将某个节点(例如 ID = 4
)及其所有子节点的时间戳更新为某个值(例如,2001-02-03 10:11:12
)的查询看起来像这个:
UPDATE TEST SET
MTIME = '2001-02-03 10:11:12'
WHERE ID IN
(
WITH RECURSIVE
CTE (id)
AS
(
SELECT T.id
FROM test AS T
WHERE T.id = 4
UNION ALL
SELECT T.id
FROM
test AS T
INNER JOIN CTE ON CTE.id = T.parent_id
)
SELECT id FROM CTE
);
我检查了一下,它按预期工作(ID 为 4、5、6、7 的行已更新)。
删除
同样的方法,即:
DELETE FROM TEST
WHERE ID IN
(
WITH RECURSIVE
CTE (id)
AS
(
SELECT T.id
FROM test AS T
WHERE T.id = 4
UNION ALL
SELECT T.id
FROM
test AS T
INNER JOIN CTE ON CTE.id = T.parent_id
)
SELECT id FROM CTE
);
运行 没有语法错误,但只删除了 行 id = 4
。我会称之为错误。
DELETE 临时 table
以下操作正确。提前创建一个global temporary table
。
临时文件只是table中的数据,而不是table本身,所以它必须提前创建,并且会保留在数据库中。默认情况下,此类临时 table 中的数据将在 t运行 操作结束时被清除。
CREATE GLOBAL TEMPORARY TABLE ToDelete
(id int not null primary key);
将递归 CTE 的结果插入临时 table,然后使用它从主 table 中删除找到的 ID。确保这两个语句 运行 在同一个 t运行saction.
INSERT INTO ToDelete
WITH RECURSIVE
CTE (id)
AS
(
SELECT T.id
FROM test AS T
WHERE T.id = 4
UNION ALL
SELECT T.id
FROM
test AS T
INNER JOIN CTE ON CTE.id = T.parent_id
)
SELECT id FROM CTE
;
DELETE FROM TEST
WHERE ID IN (SELECT ID FROM ToDelete)
;
我检查过,这按预期工作(ID 为 4、5、6、7 的行已被删除)。
如果您确定树的深度小于 1024,在 MYSQL 中您可以使用以下过程:
DELIMITER $$
CREATE PROCEDURE upd_test( IN start_id INT, IN str_date CHAR(20) )
BEGIN
DECLARE next_id INT DEFAULT NULL ;
UPDATE test
SET mtime = str_date
WHERE id = start_id;
SELECT parent_id FROM test WHERE id = start_id INTO next_id;
IF next_id > 0
THEN
CALL upd_test( next_id, str_date );
END IF;
END$$
DELIMITER ;
接下来,将递归深度设置为 1024(这显然是 Vladimir 提到的 Firebird 支持的最大值)和 运行 您的程序。
set max_sp_recursion_depth = 1024;
使用您给我们的示例,您可以使用给定日期时间的过程更新节点 6、4、2 和 1:
CALL upd_test( 6, '2001-02-03 10:11:12' );
您可以对从根开始并更改其所有子项的函数使用相同的方法。您可以再次使用相同的方法来创建删除过程。