Azure 流分析是否适合生成数据仓库事实和维度表?
Is Azure Stream Analytics suitable for generating data warehouse fact and dimensions tables?
我正在考虑通过 Azure Stream Analytics.
实现以下方案
我的输入包括:
- 从 Azure Event Hub 流入的事件。
- 与事件相关的参考数据。其中一些数据是每天 "slowly changing"。
我需要加入事件和参考数据,处理它们并输出 tables,这将构成 "data warehouse"(考虑 Power BI 作为消费者)。
输出将由以下组成:
- 事实 table 存储了最重要的事件。
- 几个维度 table 包含构成事实的值。
Azure Stream Analytics 适合table 这种工作吗?
在我看来,ASA 非常适合将来自事件中心流的事件保存到事实中 table。
但是,保持维度 table 最新的额外工作——即定期添加新值——并不合适。
我的分析是否正确?我应该为我的项目切换到 Azure Data Factory 吗?
Azure Stream Analytics 适合这种工作吗?不是 really.Stream 分析是为云中的实时流处理而设计的。
正如您所指出的,保持维度表最新的额外工作——即定期添加新值——不适合 ASA (Azure Stream Analytics)
为此 part/functionality 您可以使用 Azure 数据工厂 (ADF),它是一种基于云的数据集成服务,可以编排和自动化数据的移动和转换。这就是你在这里需要的。
此外,基于 Azure HDInsight Hadoop 的 ETL 场景,您可以在此处查看“赛车遥测数据的 ETL 工作流”示例 https://msdn.microsoft.com/en-us/library/dn749886.aspx
我正在考虑通过 Azure Stream Analytics.
实现以下方案我的输入包括:
- 从 Azure Event Hub 流入的事件。
- 与事件相关的参考数据。其中一些数据是每天 "slowly changing"。
我需要加入事件和参考数据,处理它们并输出 tables,这将构成 "data warehouse"(考虑 Power BI 作为消费者)。
输出将由以下组成:
- 事实 table 存储了最重要的事件。
- 几个维度 table 包含构成事实的值。
Azure Stream Analytics 适合table 这种工作吗? 在我看来,ASA 非常适合将来自事件中心流的事件保存到事实中 table。 但是,保持维度 table 最新的额外工作——即定期添加新值——并不合适。
我的分析是否正确?我应该为我的项目切换到 Azure Data Factory 吗?
Azure Stream Analytics 适合这种工作吗?不是 really.Stream 分析是为云中的实时流处理而设计的。
正如您所指出的,保持维度表最新的额外工作——即定期添加新值——不适合 ASA (Azure Stream Analytics)
为此 part/functionality 您可以使用 Azure 数据工厂 (ADF),它是一种基于云的数据集成服务,可以编排和自动化数据的移动和转换。这就是你在这里需要的。
此外,基于 Azure HDInsight Hadoop 的 ETL 场景,您可以在此处查看“赛车遥测数据的 ETL 工作流”示例 https://msdn.microsoft.com/en-us/library/dn749886.aspx