用于 process/transaction 监控的 Dynamodb 数据模型
Dynamodb data model for process/transaction monitoring
我想跟踪多阶段处理作业。
可能只需要以下字段
batchId (guid) | eventId (guid) | statusId (int) | timestamp | message (string)
每批事件的数量相对较少。
我希望能够轻松查询 statusId 小于 n 的事件（仍在处理或未完成处理）。
每个状态更改使用多行并查询最新状态是否是最佳方法？我会使用全局二级索引，但 StatusId 似乎不是哈希键的好候选者（少于 10 个状态）。
如果您更新相同的事件行，而不是为每个状态更改使用多行，则可以使用 'Use a Calculated Value' 部分的 DynamoDB documentation 中描述的技术。基本上，这将涉及添加另一个属性（例如 'derivedStatusId'），该属性将通过在写入 DynamoDB 时将随机数附加到 statusId 来派生。例如，对于 2 的 statusId，derivedStatusId 可以是 {"2-00", "2-01", .. "2-99"} 之一。在 derivedStatusId 上设置全局二级索引会给你一些扇出，这将有助于防止索引变热。
如果您确定要将此索引用于仅 未完成的事件，则在记录转换为完成状态时从记录中删除 derivedStatusId 属性会将其从索引中删除同样 - 这可能是一个很好的 属性 如果事件预计最终会完成处理，并且如果它们永远存在。这种技术称为 "Sparse Index" 并且在 here.
中有更详细的描述
从你的问题来看，似乎需要保留状态历史记录 属性（我假设这是因为你想要多行来记录状态更改）。考虑将此历史信息放在同一行中。 DynamoDB 支持列表数据类型，也有一个慷慨的 400KB 项目限制，这可能只允许您在同一条记录中捕获所有需要的历史信息。
我想跟踪多阶段处理作业。
可能只需要以下字段
batchId (guid) | eventId (guid) | statusId (int) | timestamp | message (string)
每批事件的数量相对较少。
我希望能够轻松查询 statusId 小于 n 的事件（仍在处理或未完成处理）。
每个状态更改使用多行并查询最新状态是否是最佳方法？我会使用全局二级索引，但 StatusId 似乎不是哈希键的好候选者（少于 10 个状态）。
如果您更新相同的事件行，而不是为每个状态更改使用多行，则可以使用 'Use a Calculated Value' 部分的 DynamoDB documentation 中描述的技术。基本上，这将涉及添加另一个属性（例如 'derivedStatusId'），该属性将通过在写入 DynamoDB 时将随机数附加到 statusId 来派生。例如，对于 2 的 statusId，derivedStatusId 可以是 {"2-00", "2-01", .. "2-99"} 之一。在 derivedStatusId 上设置全局二级索引会给你一些扇出，这将有助于防止索引变热。
如果您确定要将此索引用于仅 未完成的事件，则在记录转换为完成状态时从记录中删除 derivedStatusId 属性会将其从索引中删除同样 - 这可能是一个很好的 属性 如果事件预计最终会完成处理，并且如果它们永远存在。这种技术称为 "Sparse Index" 并且在 here.
中有更详细的描述从你的问题来看，似乎需要保留状态历史记录 属性（我假设这是因为你想要多行来记录状态更改）。考虑将此历史信息放在同一行中。 DynamoDB 支持列表数据类型，也有一个慷慨的 400KB 项目限制，这可能只允许您在同一条记录中捕获所有需要的历史信息。