Redis SET UNION 操作中的键数是否有限制?
Is there a limit in number of keys in a Redis SET UNION operation?
我有一个场景,我将大量数据从 Google Big Query 转储到 Redis SET 数据结构以获得更好的响应时间。我需要对数百万个键进行 SET UNION 操作。我已经用几千个键进行了测试并且工作正常。问题是,一次可以提供给 SUNION 命令的键数有限制吗?真的是SUNION Key1 Key2 Key3 ..... KeyN吗?
考虑到我有足够的系统容量。
[...] over millions of keys
Redis 的文档中没有关于在单个 sunion
命令中可以提供多少键的限制的声明。
顺便说一句,我怀疑在 Redis 中做这样的操作是个好主意。请记住,Redis 将在执行此操作之前被阻塞,并且在 sunion
结束之前不会执行其他操作。
我最好的建议是你应该使用许多 sunionstore
命令来完成它,然后从许多集合中获取所有结果,就像整个集合都是 sunion
数百万页的结果一样键。
sunionstore key:pages:1 key1 keyN
...稍后您将在应用程序层中使用一些迭代器来迭代所有生成的页面。
我有一个场景,我将大量数据从 Google Big Query 转储到 Redis SET 数据结构以获得更好的响应时间。我需要对数百万个键进行 SET UNION 操作。我已经用几千个键进行了测试并且工作正常。问题是,一次可以提供给 SUNION 命令的键数有限制吗?真的是SUNION Key1 Key2 Key3 ..... KeyN吗? 考虑到我有足够的系统容量。
[...] over millions of keys
Redis 的文档中没有关于在单个 sunion
命令中可以提供多少键的限制的声明。
顺便说一句,我怀疑在 Redis 中做这样的操作是个好主意。请记住,Redis 将在执行此操作之前被阻塞,并且在 sunion
结束之前不会执行其他操作。
我最好的建议是你应该使用许多 sunionstore
命令来完成它,然后从许多集合中获取所有结果,就像整个集合都是 sunion
数百万页的结果一样键。
sunionstore key:pages:1 key1 keyN
...稍后您将在应用程序层中使用一些迭代器来迭代所有生成的页面。