Azure 数据资源管理器中的存储限制是什么,它取决于什么?

What is the storage limit in Azure Data Explorer and what does it depend on?

我在官方文档中找不到,service limits这方面也保持沉默

  1. Azure 数据资源管理器中数据库的最大大小是多少?
  2. 集群中所有数据库的最大总大小是多少?
  3. 我的数据到底存储在哪里?它在群集节点 HDD 上吗?

对于可以引入数据库的数据量没有硬性限制。摄取的数据持久保存到无限的持久存储(Azure blob 存储)。基于数据库的有效缓存策略 - 摄取的数据可以缓存在集群节点的本地 SSD 上。

单个集群的热缓存中可以容纳的数据总量取决于节点数量和所选的 SKU - 例如,如果每个 VM 的最大 SSD 大小为 4TB,并且节点的最大数量在一个集群中是 1000,那么您可以在热缓存中使用多达 4000TB 的(压缩)数据。

数据压缩率因架构和数据而异。例如,如果压缩率为 10,在上面的示例中,您可以缓存多达 40PB 的数据,同时仍然可以从冷存储(未缓存)中查询额外的数据。

在一个非常大的集群中存储和缓存如此多的数据是否有意义 - 在很大程度上取决于集群的场景和工作负载 运行。