从视图中选择时不能在子查询中使用参数
Can't use parameters in subquery when selecting from view
系统: MariaDB 10.3.15,python 3.7.2,mysql.connector python 包
当使用 table 结构执行查询时,我无法确定问题的确切原因,可能是 MariaDB/mySQL 中的错误,如下所述。令人困惑的部分是错误信息
1356 (HY000): View 'test_project.denormalized' references invalid table(s) or column(s) or function(s) or definer/invoker of view lack rights to use them
起初似乎与问题有关,但我进一步深入了解为什么会发生这种情况,我越觉得这个错误消息是一个转移注意力的问题。
重现步骤:
CREATE DATABASE `test_project`;
USE `test_project`;
CREATE TABLE `normalized` (
`id` INT NOT NULL AUTO_INCREMENT,
`foreign_key` INT NOT NULL,
`name` VARCHAR(45) NOT NULL,
`value` VARCHAR(45) NULL,
PRIMARY KEY (`id`));
INSERT INTO `normalized` (`foreign_key`, `name`, `value`) VALUES
(1, 'attr_1', '1'),
(1, 'attr_2', '2'),
(2, 'attr_1', '3'),
(2, 'attr_2', '4');
CREATE OR REPLACE ALGORITHM=UNDEFINED DEFINER=`root`@`localhost` SQL SECURITY DEFINER VIEW `denormalized` AS
select
max(`iq`.`foreign_key`) AS `foreign_key`,
max(`iq`.`attr_1`) AS `attribute_1`,
max(`iq`.`attr_2`) AS `attribute_2`
from (
select
`foreign_key` AS `foreign_key`,
if(`name` = 'attr_1',`value`,NULL) AS `attr_1`,
if(`name` = 'attr_2',`value`,NULL) AS `attr_2`
from `normalized`
) as `iq`
group by `iq`.`foreign_key`;
使用python 连接到数据库并执行以下查询:
conn = mysql.connector.connect(host="somehost", user="someuser", password="somepassword")
cursor = conn.cursor()
query = """select * from denormalized as d
where d.`foreign_key` in
(
SELECT distinct(foreign_key)
FROM normalized
where value = %s
);"""
cursor.execute(query, ["2"])
results = cursors.fetchall()
更多信息:起初我认为这显然是一个权限问题,但即使对所有内容都使用 root 并仔细检查主机和特定权限也没有改变任何东西。
然后我深入研究了所涉及的查询和视图的作用(上面的测试用例是我们数据库中实际内容的简化版本)并测试了每个部分。从视图中选择有效。 运行 视图的查询有效。从具有静态子查询的视图中进行选择是可行的。事实上,用它的定义替换有问题的查询中的视图也可以。
我将其归结为使用 where
子句中的子查询使用该子查询中的参数从视图中进行选择。这会导致出现错误。使用静态子查询或用它的定义替换视图工作得很好,只有在这种特定情况下它才会失败。
我也不知道为什么。
分组依据没有意义;您的意思是其中之一吗?
这returns一行:
select max(`foreign_key`) AS `foreign_key`,
max(if(`name` = 'attr_1', `value`,NULL)) AS `attribute_1`,
max(if(`name` = 'attr_2', `value`,NULL)) AS `attribute_2`
from `normalized`;
这使用 GROUP BY
和 returns 每行 foreign_key
:
select `foreign_key`,
max(if(`name` = 'attr_1', `value`,NULL)) AS `attribute_1`,
max(if(`name` = 'attr_2', `value`,NULL)) AS `attribute_2`
from `normalized`
group by `foreign_key`;
您的 python 查询在以下任一公式中可能更好:
select d.*
FROM ( SELECT distinct(foreign_key)
FROM normalized
where
value = %s )
JOIN denormalized as d;
select d.*
FROM denormalized as d
WHERE EXISTS ( SELECT 1
FROM normalized
where foreign_key = d.foreign_key
AND value = %s )
他们将受益于 INDEX(value, foreign_key)
。
系统: MariaDB 10.3.15,python 3.7.2,mysql.connector python 包
当使用 table 结构执行查询时,我无法确定问题的确切原因,可能是 MariaDB/mySQL 中的错误,如下所述。令人困惑的部分是错误信息
1356 (HY000): View 'test_project.denormalized' references invalid table(s) or column(s) or function(s) or definer/invoker of view lack rights to use them
起初似乎与问题有关,但我进一步深入了解为什么会发生这种情况,我越觉得这个错误消息是一个转移注意力的问题。
重现步骤:
CREATE DATABASE `test_project`;
USE `test_project`;
CREATE TABLE `normalized` (
`id` INT NOT NULL AUTO_INCREMENT,
`foreign_key` INT NOT NULL,
`name` VARCHAR(45) NOT NULL,
`value` VARCHAR(45) NULL,
PRIMARY KEY (`id`));
INSERT INTO `normalized` (`foreign_key`, `name`, `value`) VALUES
(1, 'attr_1', '1'),
(1, 'attr_2', '2'),
(2, 'attr_1', '3'),
(2, 'attr_2', '4');
CREATE OR REPLACE ALGORITHM=UNDEFINED DEFINER=`root`@`localhost` SQL SECURITY DEFINER VIEW `denormalized` AS
select
max(`iq`.`foreign_key`) AS `foreign_key`,
max(`iq`.`attr_1`) AS `attribute_1`,
max(`iq`.`attr_2`) AS `attribute_2`
from (
select
`foreign_key` AS `foreign_key`,
if(`name` = 'attr_1',`value`,NULL) AS `attr_1`,
if(`name` = 'attr_2',`value`,NULL) AS `attr_2`
from `normalized`
) as `iq`
group by `iq`.`foreign_key`;
使用python 连接到数据库并执行以下查询:
conn = mysql.connector.connect(host="somehost", user="someuser", password="somepassword")
cursor = conn.cursor()
query = """select * from denormalized as d
where d.`foreign_key` in
(
SELECT distinct(foreign_key)
FROM normalized
where value = %s
);"""
cursor.execute(query, ["2"])
results = cursors.fetchall()
更多信息:起初我认为这显然是一个权限问题,但即使对所有内容都使用 root 并仔细检查主机和特定权限也没有改变任何东西。
然后我深入研究了所涉及的查询和视图的作用(上面的测试用例是我们数据库中实际内容的简化版本)并测试了每个部分。从视图中选择有效。 运行 视图的查询有效。从具有静态子查询的视图中进行选择是可行的。事实上,用它的定义替换有问题的查询中的视图也可以。
我将其归结为使用 where
子句中的子查询使用该子查询中的参数从视图中进行选择。这会导致出现错误。使用静态子查询或用它的定义替换视图工作得很好,只有在这种特定情况下它才会失败。
我也不知道为什么。
分组依据没有意义;您的意思是其中之一吗?
这returns一行:
select max(`foreign_key`) AS `foreign_key`,
max(if(`name` = 'attr_1', `value`,NULL)) AS `attribute_1`,
max(if(`name` = 'attr_2', `value`,NULL)) AS `attribute_2`
from `normalized`;
这使用 GROUP BY
和 returns 每行 foreign_key
:
select `foreign_key`,
max(if(`name` = 'attr_1', `value`,NULL)) AS `attribute_1`,
max(if(`name` = 'attr_2', `value`,NULL)) AS `attribute_2`
from `normalized`
group by `foreign_key`;
您的 python 查询在以下任一公式中可能更好:
select d.*
FROM ( SELECT distinct(foreign_key)
FROM normalized
where
value = %s )
JOIN denormalized as d;
select d.*
FROM denormalized as d
WHERE EXISTS ( SELECT 1
FROM normalized
where foreign_key = d.foreign_key
AND value = %s )
他们将受益于 INDEX(value, foreign_key)
。