Azure 数据资源管理器中的存储限制是什么,它取决于什么?
What is the storage limit in Azure Data Explorer and what does it depend on?
我在官方文档中找不到,service limits这方面也保持沉默
- Azure 数据资源管理器中数据库的最大大小是多少?
- 集群中所有数据库的最大总大小是多少?
- 我的数据到底存储在哪里?它在群集节点 HDD 上吗?
对于可以引入数据库的数据量没有硬性限制。摄取的数据持久保存到无限的持久存储(Azure blob 存储)。基于数据库的有效缓存策略 - 摄取的数据可以缓存在集群节点的本地 SSD 上。
单个集群的热缓存中可以容纳的数据总量取决于节点数量和所选的 SKU - 例如,如果每个 VM 的最大 SSD 大小为 4TB,并且节点的最大数量在一个集群中是 1000,那么您可以在热缓存中使用多达 4000TB 的(压缩)数据。
数据压缩率因架构和数据而异。例如,如果压缩率为 10,在上面的示例中,您可以缓存多达 40PB 的数据,同时仍然可以从冷存储(未缓存)中查询额外的数据。
在一个非常大的集群中存储和缓存如此多的数据是否有意义 - 在很大程度上取决于集群的场景和工作负载 运行。
我在官方文档中找不到,service limits这方面也保持沉默
- Azure 数据资源管理器中数据库的最大大小是多少?
- 集群中所有数据库的最大总大小是多少?
- 我的数据到底存储在哪里?它在群集节点 HDD 上吗?
对于可以引入数据库的数据量没有硬性限制。摄取的数据持久保存到无限的持久存储(Azure blob 存储)。基于数据库的有效缓存策略 - 摄取的数据可以缓存在集群节点的本地 SSD 上。
单个集群的热缓存中可以容纳的数据总量取决于节点数量和所选的 SKU - 例如,如果每个 VM 的最大 SSD 大小为 4TB,并且节点的最大数量在一个集群中是 1000,那么您可以在热缓存中使用多达 4000TB 的(压缩)数据。
数据压缩率因架构和数据而异。例如,如果压缩率为 10,在上面的示例中,您可以缓存多达 40PB 的数据,同时仍然可以从冷存储(未缓存)中查询额外的数据。
在一个非常大的集群中存储和缓存如此多的数据是否有意义 - 在很大程度上取决于集群的场景和工作负载 运行。