为星型模式中的决议设置时间维度
Setting up Time Dimensions for Resolutions in a Star-Schema
我一直在阅读有关 OLAP 处理的体系结构类型的资料,特别是星型模式概念。我目前正在设置一个数据库进行测试。
我的情况
我有 750 个传感器,每个传感器每分钟都会 post 将数据发送到 SQL 数据库。目前,我的做法是post 如果值有变化。进一步考虑这个问题让我想知道它是否会在确定是否存在数据丢失与未更改的值时造成问题,并让我重新考虑预定 posting.
插入传感器值的软件 post 格式为 2020-01-23 13:48:52
的时间戳。与此同时,传感器名称和传感器值也被 posted。因此,如果算上主键,我的事实中有 4 列 table。
我知道我需要对我的数据进行一些中间处理(可能是 table 按计划处理以使其符合模式,然后删除),但现在我我试图保持这种高水平并一次解决一个问题。
这是我目前的设想,但考虑到我需要的分辨率,我不知道如何处理时间维度。
我的问题
"目前,我的做法是post 如果值发生变化。进一步思考这个问题让我想知道如果它可能会在确定是否存在数据丢失与未更改的值时造成问题,并让我重新考虑预定 posting."
这是识别数据丢失的一个有效问题,还是有其他方法来解决它?
考虑到我需要的分辨率,样本时间维度应该是什么样的?
如果我对您的情况的理解正确,您正在记录代表某个时间点的某些系统状态的值。换句话说,您正在及时捕获系统的快照。在星型模式中,您应该使用 "periodic snapshot fact table"。这样的事实 tables 捕获值,无论它们是否已更改,因为它们的 grain 是 date/time 的一个单位,而不是交易。
时间维度可以通过多种方式建模。我会做以下事情:
创建维度 "Date" 来处理日历日期。谷物:一个日历日。跨度:从你有数据的那一天,到今天包括在内。
创建维度 "Time" 来处理一天中的时间。谷物:一分钟。跨度:24 小时(因此 table 中的总记录为 60 分钟 * 24 小时)。
将日期和时间键添加到事实 table。
事实上 table 我也会将时间戳保留为退化维度,以便在需要时访问秒数。
我一直在阅读有关 OLAP 处理的体系结构类型的资料,特别是星型模式概念。我目前正在设置一个数据库进行测试。
我的情况
我有 750 个传感器,每个传感器每分钟都会 post 将数据发送到 SQL 数据库。目前,我的做法是post 如果值有变化。进一步考虑这个问题让我想知道它是否会在确定是否存在数据丢失与未更改的值时造成问题,并让我重新考虑预定 posting.
插入传感器值的软件 post 格式为 2020-01-23 13:48:52
的时间戳。与此同时,传感器名称和传感器值也被 posted。因此,如果算上主键,我的事实中有 4 列 table。
我知道我需要对我的数据进行一些中间处理(可能是 table 按计划处理以使其符合模式,然后删除),但现在我我试图保持这种高水平并一次解决一个问题。
这是我目前的设想,但考虑到我需要的分辨率,我不知道如何处理时间维度。
我的问题
"目前,我的做法是post 如果值发生变化。进一步思考这个问题让我想知道如果它可能会在确定是否存在数据丢失与未更改的值时造成问题,并让我重新考虑预定 posting."
这是识别数据丢失的一个有效问题,还是有其他方法来解决它?
考虑到我需要的分辨率,样本时间维度应该是什么样的?
如果我对您的情况的理解正确,您正在记录代表某个时间点的某些系统状态的值。换句话说,您正在及时捕获系统的快照。在星型模式中,您应该使用 "periodic snapshot fact table"。这样的事实 tables 捕获值,无论它们是否已更改,因为它们的 grain 是 date/time 的一个单位,而不是交易。
时间维度可以通过多种方式建模。我会做以下事情:
创建维度 "Date" 来处理日历日期。谷物:一个日历日。跨度:从你有数据的那一天,到今天包括在内。
创建维度 "Time" 来处理一天中的时间。谷物:一分钟。跨度:24 小时(因此 table 中的总记录为 60 分钟 * 24 小时)。
将日期和时间键添加到事实 table。
事实上 table 我也会将时间戳保留为退化维度,以便在需要时访问秒数。