GROUP_CONCAT 和 FIND_IN_SET,多个联接
GROUP_CONCAT with FIND_IN_SET, multiple joins
我想检索设置了特定过滤器的项目。
例如 红色或蓝色和小 的列表项应该 return 只有项目苹果。
((red(2) or blue(4)) and small(5)) => apple
我找到了 2 个解决方案,但在我看来都过于复杂。
第一个解决方案在我看来更优雅,因为当我想通过 AND
添加另一个过滤器时,它非常简单。而第二个解决方案将需要另一个 JOIN
。
我希望我忽略了一些东西并且有比这更好的解决方案。
问题,
- 有没有更好的解决方案?
- 如果没有更好的解决方案 - faster/recommended?
项目table
| id | itemname |
├────┼──────────┤
| 1 | apple |
| 2 | orange |
| 3 | banana |
| 4 | melon |
过滤器table
│ id │ filtername │
├────┼────────────┤
│ 1 │ orange │
│ 2 │ red │
│ 3 │ green │
│ 4 │ blue │
│ 5 │ small │
│ 6 │ medium │
│ 7 │ big │
│ 8 │ yellow │
item_filter
│ item_id │ filter_id │
├─────────┼───────────┤
│ 1 │ 2 │
│ 1 │ 3 │
│ 1 │ 5 │
│ 2 │ 1 │
│ 2 │ 5 │
│ 3 │ 6 │
│ 3 │ 8 │
│ 4 │ 3 │
│ 4 │ 7 │
基于GROUP_CONCAT和FIND_IN_SET
的第一个解决方案
sqlfiddle: http://sqlfiddle.com/#!9/26f99/1/0
SELECT * FROM item
JOIN (
SELECT item_id, GROUP_CONCAT(filter_id) AS filters
FROM item_filter
GROUP BY item_id
) AS grp ON grp.item_id = item.id
WHERE (FIND_IN_SET(2,filters) OR FIND_IN_SET(4,filters)) AND FIND_IN_SET(5, filters)
仅基于 JOIN 和 where 子句的第二种解决方案
sqlfiddle: http://sqlfiddle.com/#!9/f0b95/1/0
SELECT itemname FROM item
JOIN item_filter as filter1 on item.id=filter1.item_id
JOIN item_filter as filter2 on item.id=filter2.item_id
WHERE (filter1.filter_id=2 or filter1.filter_id=4) and filter2.filter_id=5
第一个解决方案不会有效地使用索引。子查询将使用索引和 return 很多记录,但这些记录将在没有索引的情况下进行检查。
例如,如果项目 table 有 10000 行,则子查询将 return 1000 行。对于这 10000 行中的每一行,数据库将不得不使用一个函数来检查过滤器。因为它是子查询的结果,所以它不会使用索引(而且 FIND_IN_SET 不会使用索引)。
第二个解决方案应该快得多(但正如您所说,添加新过滤器时灵活性较低。请注意,您可能希望 item_filter table 上的索引涵盖 item_id 和过滤器 ID(可能还有 filter_id 列上的第二个索引)。
我预计 MySQL 会执行此操作:-
SELECT itemname
FROM item_filter as filter2
JOIN item_filter as filter1 on filter2.id = filter1.item_id
JOIN FROM item on item.id = filter1 .item_id
WHERE (filter1.filter_id=2 or filter1.filter_id=4) and filter2.filter_id=5
因为这样它可以首先使用最排他的索引,将其加入第二个过滤器(使用 item_id 上的索引通过检查过滤器 2 和 4 缩小范围)然后加入基于的项目item_id(我希望它是主键)。
我不是 MySQL 专家,但这是我的两分钱。
您应该使用 MySQL EXPLAIN
函数来获取有关如何执行查询的详细信息:
http://dev.mysql.com/doc/refman/5.7/en/explain-output.html
但在此之前,您应该为您的关系添加一个复合键索引table,即:item_filter
table;如果不这样做,EXPLAIN
结果将不相关,因为后者 table 将针对每个查询进行全面扫描。
现在,运行 解释你的两个查询,你会注意到 你的第二个解决方案显然是最好的 从性能的角度来看 (和假设您将索引添加到 EXPLAIN
table):
mysql> EXPLAIN SELECT * FROM item
-> JOIN (
-> SELECT item_id, GROUP_CONCAT(filter_id) AS filters
-> FROM item_filter
-> GROUP BY item_id
-> ) AS grp ON grp.item_id = item.id
-> WHERE (FIND_IN_SET(2,filters) OR FIND_IN_SET(4,filters)) AND FIND_IN_SET(5, filters);
+----+-------------+-------------+-------+---------------+---------+---------+------+------+--------------------------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------------+-------+---------------+---------+---------+------+------+--------------------------------+
| 1 | PRIMARY | <derived2> | ALL | NULL | NULL | NULL | NULL | 4 | Using where |
| 1 | PRIMARY | item | ALL | PRIMARY | NULL | NULL | NULL | 4 | Using where; Using join buffer |
| 2 | DERIVED | item_filter | index | NULL | PRIMARY | 8 | NULL | 9 | Using index |
+----+-------------+-------------+-------+---------------+---------+---------+------+------+--------------------------------+
3 rows in set (0.00 sec)
mysql> EXPLAIN SELECT itemname FROM item
-> JOIN item_filter as filter1 on item.id=filter1.item_id
-> JOIN item_filter as filter2 on item.id=filter2.item_id
-> WHERE (filter1.filter_id=2 or filter1.filter_id=4) and filter2.filter_id=5;
+----+-------------+---------+--------+---------------+---------+---------+--------------------+------+--------------------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+---------+--------+---------------+---------+---------+--------------------+------+--------------------------+
| 1 | SIMPLE | item | ALL | PRIMARY | NULL | NULL | NULL | 4 | |
| 1 | SIMPLE | filter1 | ref | PRIMARY | PRIMARY | 4 | test.item.id | 1 | Using where; Using index |
| 1 | SIMPLE | filter2 | eq_ref | PRIMARY | PRIMARY | 8 | test.item.id,const | 1 | Using index |
+----+-------------+---------+--------+---------------+---------+---------+--------------------+------+--------------------------+
3 rows in set (0.01 sec)
mysql>
不赘述:
解决方案一执行两次 table 完整扫描,一次索引查找并读取 17 行(另外我不相信 GROUP_CONCAT
和 FIND_IN_SET
性能影响).
方案二执行单次table全扫描,总共只读取6行。
查看 EXPLAIN 联接类型 文档以获取更多信息:
http://dev.mysql.com/doc/refman/5.7/en/explain-output.html#explain-join-types
我想检索设置了特定过滤器的项目。 例如 红色或蓝色和小 的列表项应该 return 只有项目苹果。 ((red(2) or blue(4)) and small(5)) => apple
我找到了 2 个解决方案,但在我看来都过于复杂。
第一个解决方案在我看来更优雅,因为当我想通过 AND
添加另一个过滤器时,它非常简单。而第二个解决方案将需要另一个 JOIN
。
我希望我忽略了一些东西并且有比这更好的解决方案。
问题,
- 有没有更好的解决方案?
- 如果没有更好的解决方案 - faster/recommended?
项目table
| id | itemname |
├────┼──────────┤
| 1 | apple |
| 2 | orange |
| 3 | banana |
| 4 | melon |
过滤器table
│ id │ filtername │
├────┼────────────┤
│ 1 │ orange │
│ 2 │ red │
│ 3 │ green │
│ 4 │ blue │
│ 5 │ small │
│ 6 │ medium │
│ 7 │ big │
│ 8 │ yellow │
item_filter
│ item_id │ filter_id │
├─────────┼───────────┤
│ 1 │ 2 │
│ 1 │ 3 │
│ 1 │ 5 │
│ 2 │ 1 │
│ 2 │ 5 │
│ 3 │ 6 │
│ 3 │ 8 │
│ 4 │ 3 │
│ 4 │ 7 │
基于GROUP_CONCAT和FIND_IN_SET
的第一个解决方案sqlfiddle: http://sqlfiddle.com/#!9/26f99/1/0
SELECT * FROM item
JOIN (
SELECT item_id, GROUP_CONCAT(filter_id) AS filters
FROM item_filter
GROUP BY item_id
) AS grp ON grp.item_id = item.id
WHERE (FIND_IN_SET(2,filters) OR FIND_IN_SET(4,filters)) AND FIND_IN_SET(5, filters)
仅基于 JOIN 和 where 子句的第二种解决方案
sqlfiddle: http://sqlfiddle.com/#!9/f0b95/1/0
SELECT itemname FROM item
JOIN item_filter as filter1 on item.id=filter1.item_id
JOIN item_filter as filter2 on item.id=filter2.item_id
WHERE (filter1.filter_id=2 or filter1.filter_id=4) and filter2.filter_id=5
第一个解决方案不会有效地使用索引。子查询将使用索引和 return 很多记录,但这些记录将在没有索引的情况下进行检查。
例如,如果项目 table 有 10000 行,则子查询将 return 1000 行。对于这 10000 行中的每一行,数据库将不得不使用一个函数来检查过滤器。因为它是子查询的结果,所以它不会使用索引(而且 FIND_IN_SET 不会使用索引)。
第二个解决方案应该快得多(但正如您所说,添加新过滤器时灵活性较低。请注意,您可能希望 item_filter table 上的索引涵盖 item_id 和过滤器 ID(可能还有 filter_id 列上的第二个索引)。
我预计 MySQL 会执行此操作:-
SELECT itemname
FROM item_filter as filter2
JOIN item_filter as filter1 on filter2.id = filter1.item_id
JOIN FROM item on item.id = filter1 .item_id
WHERE (filter1.filter_id=2 or filter1.filter_id=4) and filter2.filter_id=5
因为这样它可以首先使用最排他的索引,将其加入第二个过滤器(使用 item_id 上的索引通过检查过滤器 2 和 4 缩小范围)然后加入基于的项目item_id(我希望它是主键)。
我不是 MySQL 专家,但这是我的两分钱。
您应该使用 MySQL EXPLAIN
函数来获取有关如何执行查询的详细信息:
http://dev.mysql.com/doc/refman/5.7/en/explain-output.html
但在此之前,您应该为您的关系添加一个复合键索引table,即:item_filter
table;如果不这样做,EXPLAIN
结果将不相关,因为后者 table 将针对每个查询进行全面扫描。
现在,运行 解释你的两个查询,你会注意到 你的第二个解决方案显然是最好的 从性能的角度来看 (和假设您将索引添加到 EXPLAIN
table):
mysql> EXPLAIN SELECT * FROM item
-> JOIN (
-> SELECT item_id, GROUP_CONCAT(filter_id) AS filters
-> FROM item_filter
-> GROUP BY item_id
-> ) AS grp ON grp.item_id = item.id
-> WHERE (FIND_IN_SET(2,filters) OR FIND_IN_SET(4,filters)) AND FIND_IN_SET(5, filters);
+----+-------------+-------------+-------+---------------+---------+---------+------+------+--------------------------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------------+-------+---------------+---------+---------+------+------+--------------------------------+
| 1 | PRIMARY | <derived2> | ALL | NULL | NULL | NULL | NULL | 4 | Using where |
| 1 | PRIMARY | item | ALL | PRIMARY | NULL | NULL | NULL | 4 | Using where; Using join buffer |
| 2 | DERIVED | item_filter | index | NULL | PRIMARY | 8 | NULL | 9 | Using index |
+----+-------------+-------------+-------+---------------+---------+---------+------+------+--------------------------------+
3 rows in set (0.00 sec)
mysql> EXPLAIN SELECT itemname FROM item
-> JOIN item_filter as filter1 on item.id=filter1.item_id
-> JOIN item_filter as filter2 on item.id=filter2.item_id
-> WHERE (filter1.filter_id=2 or filter1.filter_id=4) and filter2.filter_id=5;
+----+-------------+---------+--------+---------------+---------+---------+--------------------+------+--------------------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+---------+--------+---------------+---------+---------+--------------------+------+--------------------------+
| 1 | SIMPLE | item | ALL | PRIMARY | NULL | NULL | NULL | 4 | |
| 1 | SIMPLE | filter1 | ref | PRIMARY | PRIMARY | 4 | test.item.id | 1 | Using where; Using index |
| 1 | SIMPLE | filter2 | eq_ref | PRIMARY | PRIMARY | 8 | test.item.id,const | 1 | Using index |
+----+-------------+---------+--------+---------------+---------+---------+--------------------+------+--------------------------+
3 rows in set (0.01 sec)
mysql>
不赘述:
解决方案一执行两次 table 完整扫描,一次索引查找并读取 17 行(另外我不相信
GROUP_CONCAT
和FIND_IN_SET
性能影响).方案二执行单次table全扫描,总共只读取6行。
查看 EXPLAIN 联接类型 文档以获取更多信息: http://dev.mysql.com/doc/refman/5.7/en/explain-output.html#explain-join-types