Azure 数据资源管理器与 Azure Synapse 分析 (a.k.a SQL DW)

Azure Data Explorer vs Azure Synapse Analytics (a.k.a SQL DW)

我为一家大型物联网公司设计数据管理策略。我们的用例相当典型,我们摄取大量数据,对其进行分析,并生成客户可以查询以了解所需见解的数据集。

我正在查看 Azure 数据资源管理器和 Azure Synapse Analytics 的数据仓库端(a.k.a Azure SQL 数据仓库)并发现许多共同点。是的,他们在后端使用不同的语言和不同的查询引擎,但两者都充当客户用来大规模查询只读数据的“服务层”。 我无法从 Microsoft 找到任何关于如何在两者之间进行选择的明确指导,或者将它们一起使用是否有意义?在这种情况下,每种服务的最佳用例或数据类型是什么?

如果你能启发我,请在这里分享你的想法。如果您知道有关此事的一些指导,请回复 link。

经典和现代数据仓库模式都涉及首先设计一个精心策划的数据模型,其中包含记录的实体及其属性,创建一个计划的 ETL 管道,将原始数据(无论大小)转换并聚合到数据模型中.然后你加载并服务它。在整个企业中使用这些实体时,精选的数据模型提供了稳定性、一致性和可靠性。

Azure Data Explorer 被设计为用于遥测的分析数据平台。在此工作负载中,您不会首先聚合数据,但实际上会使其接近原始格式,因为您不想丢失数据。它允许您处理意外的安全攻击、故障、竞争行为以及一般的未知因素,因为它允许从不同角度查看新鲜的原始数据并提供很大的灵活性。 这就是为什么 Azure 数据资源管理器是 Microsoft Telemetry 的存储,也是一组不断增长的分析解决方案,例如:Azure Monitor、Azure 安全中心、Azure Sentinel、Azure 时序见解、IoT Central、PlayFab 游戏分析、Windows Intune分析、客户洞察、Teams 教育分析等。 提供对原始数据的高性能分析,以及对文本、半结构化和结构化数据的读取模式功能。 出于同样的原因,我们的很多合作伙伴和客户都在采用 ADX。 查看详细描述这些概念的概述 webinar

Azure Synapse Analytics 打包 SQL DW、ADF 和 Spark,使所有数据仓库模式组件高度集成,更易于使用和管理。正如我们 announced on the Azure Data Explorer Virtual Event,Azure 数据资源管理器正在与 SQL 和 Spark 池一起集成到 Azure Synapse Analytics 中,以满足遥测工作负载——对高速、大容量、多样化数据的实时分析。

查看一些 IoT 案例 Buhler, Daimler video,story, Bosch, AGL,还有更多领先的 IoT 平台正在为此目的采用 Azure Data Explorer。如果您需要其他帮助,请联系我们。