ASO 立方体中的增量数据加载
Incremental data load in ASO cube
我正在使用 ASO 多维数据集。我们有两种类型的负载,全负载和增量负载。我们每天通过清除多维数据集并重新加载来执行一次完全加载。我们需要每 2 小时 运行 增加负载。我通过 运行ning 设计聚合来聚合数据。但是现在我的增量加载时间增加了 10 倍。
有没有办法将增量数据加载到具有聚合数据的多维数据集中?
请帮忙!!!
谢谢
可以将增量数据加载到已经聚合的多维数据集中,因为聚合视图不会真正因数据而改变。仅当您执行向多维数据集添加更多级别的维度构建时,您的聚合视图才会受到影响。
需要考虑的事情很少
您如何执行增量加载?直接加载/创建切片选项?
在执行加载之前,您是否执行任何清除操作? (当你有聚合时,清除操作需要时间)
在这两个小时的时间范围内是否有可能创建切片的任何其他负载/数据推送? (比如当你有一个复制的分区来推送数据时,它会创建一个分片)
考虑到所有这些要点,使用创建切片选项的增量加载将是方向
滴切片
创建缓冲区
加载数据到缓冲区
使用创建切片选项提交缓冲区
我正在使用 ASO 多维数据集。我们有两种类型的负载,全负载和增量负载。我们每天通过清除多维数据集并重新加载来执行一次完全加载。我们需要每 2 小时 运行 增加负载。我通过 运行ning 设计聚合来聚合数据。但是现在我的增量加载时间增加了 10 倍。
有没有办法将增量数据加载到具有聚合数据的多维数据集中?
请帮忙!!!
谢谢
可以将增量数据加载到已经聚合的多维数据集中,因为聚合视图不会真正因数据而改变。仅当您执行向多维数据集添加更多级别的维度构建时,您的聚合视图才会受到影响。
需要考虑的事情很少 您如何执行增量加载?直接加载/创建切片选项? 在执行加载之前,您是否执行任何清除操作? (当你有聚合时,清除操作需要时间) 在这两个小时的时间范围内是否有可能创建切片的任何其他负载/数据推送? (比如当你有一个复制的分区来推送数据时,它会创建一个分片)
考虑到所有这些要点,使用创建切片选项的增量加载将是方向
滴切片 创建缓冲区 加载数据到缓冲区 使用创建切片选项提交缓冲区