Azure IoT + 带 blob 数据的流分析
Azure IoT + Stream Analytics with blob data
我们目前正在尝试评估是否应该移植我们的业务逻辑
到 Azure IoT 中心。
到目前为止这看起来很有希望,但我对流分析有疑问。
假设我们在现场有 IoT 设备将其数据作为 csv 文件发送。
目前,我们的后端在处理这些数据、分析数据并将其注入我们的数据库系统时遇到了一些大问题。
我想为此尝试使用 Azure。
如果我使用 IoT 中心并想将此 csv 格式发送到中心。我们假设 csv 格式是固定的,所以我不能只移植到 d2c 通信格式。
流分析服务可以使用这种 csv 格式吗?它可以将嵌入的数据放入 table 存储中的特定 table 中吗?
这真的很重要。有什么例子可以帮我解决问题吗?
我想 Auzre 有处理 csv 文件的库。如果我们不使用 csv 格式而是使用 Azure 可能不知道的另一种行业标准格式怎么办?
希望你能帮到我。
Azure 流分析 (ASA) support CSV 作为输入:
Event serialization format: The serialization format (JSON, CSV, or Avro) of the incoming data stream.
是的,它还支持 Azure Table 存储作为输出。参见 docs
当您创建 ASA 作业时,您可以 upload your csv file to test the query,因此如果您创建示例文件,您可以轻松地试用它。
他们在 github
上有一些示例 csv 数据
我建议您根据示例数据创建一个小型概念证明。
如果由于某种原因(例如数据格式不受支持)ASA 不适合,您始终可以使用不同的技术检索 IoT 中心数据,例如使用 EventProcessorHost。这样你就可以完全控制数据,你可以使用你想要的任何东西输出它,它仍然是可扩展的(当然这也取决于数据目的地)。将 this post 视为一个粗略的想法。似乎有点过时,但这个概念今天仍然有效。
可以找到有关从 EventHub 读取数据的其他可能选项的官方文档 here
我们目前正在尝试评估是否应该移植我们的业务逻辑 到 Azure IoT 中心。
到目前为止这看起来很有希望,但我对流分析有疑问。
假设我们在现场有 IoT 设备将其数据作为 csv 文件发送。 目前,我们的后端在处理这些数据、分析数据并将其注入我们的数据库系统时遇到了一些大问题。
我想为此尝试使用 Azure。 如果我使用 IoT 中心并想将此 csv 格式发送到中心。我们假设 csv 格式是固定的,所以我不能只移植到 d2c 通信格式。
流分析服务可以使用这种 csv 格式吗?它可以将嵌入的数据放入 table 存储中的特定 table 中吗?
这真的很重要。有什么例子可以帮我解决问题吗?
我想 Auzre 有处理 csv 文件的库。如果我们不使用 csv 格式而是使用 Azure 可能不知道的另一种行业标准格式怎么办?
希望你能帮到我。
Azure 流分析 (ASA) support CSV 作为输入:
Event serialization format: The serialization format (JSON, CSV, or Avro) of the incoming data stream.
是的,它还支持 Azure Table 存储作为输出。参见 docs
当您创建 ASA 作业时,您可以 upload your csv file to test the query,因此如果您创建示例文件,您可以轻松地试用它。
他们在 github
上有一些示例 csv 数据我建议您根据示例数据创建一个小型概念证明。
如果由于某种原因(例如数据格式不受支持)ASA 不适合,您始终可以使用不同的技术检索 IoT 中心数据,例如使用 EventProcessorHost。这样你就可以完全控制数据,你可以使用你想要的任何东西输出它,它仍然是可扩展的(当然这也取决于数据目的地)。将 this post 视为一个粗略的想法。似乎有点过时,但这个概念今天仍然有效。
可以找到有关从 EventHub 读取数据的其他可能选项的官方文档 here