如何避免大表的红移偏移?
How to avoid skewing in redshift for Big Tables?
我想将 table 大小超过 1 TB 的 table 从 S3 加载到 Redshift。
我不能将 DISTSTYLE 用作 ALL,因为它很大 table。
我不能将 DISTSTYLE 用作 EVEN,因为我想在造成性能问题的联接中使用此 table。
我的 table 上的列是
id 整数,名称 VARCHAR(10),another_id 整数,工作日整数,工作时间整数,worktime_number 整数
我们的 redshift 集群有 20 个节点。
所以,我在工作日尝试了分发密钥,但 table 严重倾斜。
有 7 个独特的工作日和 24 个独特的工作时间。
这种情况下如何避免偏斜?
我们如何避免 table 在唯一键的行数不均匀的情况下出现偏差(假设 hour1 有 100 万行,hour2 有 150 万行,hour3 有 200 万行,等等)上)?
使用 DISTSTYLE EVEN
分发您的 table 并使用 SORTKEY
或 COMPOUND SORTKEY
。排序键将有助于您的查询性能。先试试这个。
DISTSTYLE/DISTKEY 确定您的数据分布方式。从您的查询中使用的列中,建议选择一个导致偏差最少的列作为 DISTKEY。具有许多不同值的列(例如时间戳)将是不错的首选。避免具有不同值的列,例如信用卡类型或星期几。
您可能需要使用不同的 DISTKEY / SORTKEY 组合重新创建 table,并根据您的典型查询尝试哪一种最有效。
更多信息https://docs.aws.amazon.com/redshift/latest/dg/c_best-practices-sort-key.html
这是我推荐的架构
1) 使用 dist even 加载到暂存 table 并按在加载的 s3 数据上排序的内容进行排序 - 这意味着您不必清理暂存 table
2) 使用查询所需的排序/距离设置生产 table。在每次从 s3 复制后,将新数据加载到生产 table 和真空中。
3) 您可能希望有 2 个镜像生产 tables 并使用后期绑定视图在它们之间进行触发器。
执行此操作有点复杂,您可能需要一些专业帮助。您的用例可能有具体细节。
在撰写本文时(就在 Re-invent 2018 之后),Redshift 提供了自动分发功能,这是一个很好的入门。
以下实用程序会派上用场:
https://github.com/awslabs/amazon-redshift-utils/tree/master/src/AdminScripts
如前面发布的答案中所示,如果您不喜欢自动 DIST 的功能,请尝试使用不同的 DIST 键复制相同的 table 来尝试一些组合。在创建 tables 后 运行 来自 git 存储库的管理实用程序(最好在 Redshift 数据库中的 SQL 脚本上创建一个视图)。
此外,如果您对查询使用模式非常清楚,那么您可以使用以下查询来检查排序键的执行情况,使用下面的 SQLs。
/**Queries on tables that are not utilizing SORT KEYs**/
SELECT t.database, t.table_id,t.schema, t.schema || '.' || t.table AS "table", t.size, nvl(s.num_qs,0) num_qs
FROM svv_table_info t
LEFT JOIN (
SELECT tbl, COUNT(distinct query) num_qs
FROM stl_scan s
WHERE s.userid > 1
AND s.perm_table_name NOT IN ('Internal Worktable','S3')
GROUP BY tbl) s ON s.tbl = t.table_id
WHERE t.sortkey1 IS NULL
ORDER BY 5 desc;
/**INTERLEAVED SORT KEY**/
--check skew
select tbl as tbl_id, stv_tbl_perm.name as table_name,
col, interleaved_skew, last_reindex
from svv_interleaved_columns, stv_tbl_perm
where svv_interleaved_columns.tbl = stv_tbl_perm.id
and interleaved_skew is not null;
当然,上面的 SQL 总是有改进的余地,这取决于您可能想要查看或深入了解的特定统计数据。
希望对您有所帮助。
我想将 table 大小超过 1 TB 的 table 从 S3 加载到 Redshift。
我不能将 DISTSTYLE 用作 ALL,因为它很大 table。
我不能将 DISTSTYLE 用作 EVEN,因为我想在造成性能问题的联接中使用此 table。
我的 table 上的列是
id 整数,名称 VARCHAR(10),another_id 整数,工作日整数,工作时间整数,worktime_number 整数
我们的 redshift 集群有 20 个节点。
所以,我在工作日尝试了分发密钥,但 table 严重倾斜。
有 7 个独特的工作日和 24 个独特的工作时间。
这种情况下如何避免偏斜?
我们如何避免 table 在唯一键的行数不均匀的情况下出现偏差(假设 hour1 有 100 万行,hour2 有 150 万行,hour3 有 200 万行,等等)上)?
使用 DISTSTYLE EVEN
分发您的 table 并使用 SORTKEY
或 COMPOUND SORTKEY
。排序键将有助于您的查询性能。先试试这个。
DISTSTYLE/DISTKEY 确定您的数据分布方式。从您的查询中使用的列中,建议选择一个导致偏差最少的列作为 DISTKEY。具有许多不同值的列(例如时间戳)将是不错的首选。避免具有不同值的列,例如信用卡类型或星期几。
您可能需要使用不同的 DISTKEY / SORTKEY 组合重新创建 table,并根据您的典型查询尝试哪一种最有效。
更多信息https://docs.aws.amazon.com/redshift/latest/dg/c_best-practices-sort-key.html
这是我推荐的架构
1) 使用 dist even 加载到暂存 table 并按在加载的 s3 数据上排序的内容进行排序 - 这意味着您不必清理暂存 table
2) 使用查询所需的排序/距离设置生产 table。在每次从 s3 复制后,将新数据加载到生产 table 和真空中。
3) 您可能希望有 2 个镜像生产 tables 并使用后期绑定视图在它们之间进行触发器。
执行此操作有点复杂,您可能需要一些专业帮助。您的用例可能有具体细节。
在撰写本文时(就在 Re-invent 2018 之后),Redshift 提供了自动分发功能,这是一个很好的入门。
以下实用程序会派上用场:
https://github.com/awslabs/amazon-redshift-utils/tree/master/src/AdminScripts
如前面发布的答案中所示,如果您不喜欢自动 DIST 的功能,请尝试使用不同的 DIST 键复制相同的 table 来尝试一些组合。在创建 tables 后 运行 来自 git 存储库的管理实用程序(最好在 Redshift 数据库中的 SQL 脚本上创建一个视图)。
此外,如果您对查询使用模式非常清楚,那么您可以使用以下查询来检查排序键的执行情况,使用下面的 SQLs。
/**Queries on tables that are not utilizing SORT KEYs**/
SELECT t.database, t.table_id,t.schema, t.schema || '.' || t.table AS "table", t.size, nvl(s.num_qs,0) num_qs
FROM svv_table_info t
LEFT JOIN (
SELECT tbl, COUNT(distinct query) num_qs
FROM stl_scan s
WHERE s.userid > 1
AND s.perm_table_name NOT IN ('Internal Worktable','S3')
GROUP BY tbl) s ON s.tbl = t.table_id
WHERE t.sortkey1 IS NULL
ORDER BY 5 desc;
/**INTERLEAVED SORT KEY**/
--check skew
select tbl as tbl_id, stv_tbl_perm.name as table_name,
col, interleaved_skew, last_reindex
from svv_interleaved_columns, stv_tbl_perm
where svv_interleaved_columns.tbl = stv_tbl_perm.id
and interleaved_skew is not null;
当然,上面的 SQL 总是有改进的余地,这取决于您可能想要查看或深入了解的特定统计数据。
希望对您有所帮助。