使用 SSIS 从 JSON API 请求数据并存储在 SQL 服务器中

Request data from JSON API and store in SQL Server using SSIS

我正在尝试从 Vemcount 的 JSON API 请求数据 - 一个人流量传感器系统。我想检索我公司的所有数据并使用 SSIS 将其存储在 SQL 服务器数据库中。在我的研究过程中,我意识到 JSON 并未与 SSIS 原生集成,因此解决方案要么是对导入进行硬编码,要么是使用第三方——我选择了后者,所以目前我正在尝试使用 Kingswaysoft 及其在 VS 中的 JSON 源组件执行请求。

URL 看起来像这样(他们文档中的示例,可以在 here 中找到):

https://login.vemcount.com/api/fetch_data/?data={"api_key":"xxxxxxx","type":"shop_id","id":[10,14,24],"date_from":
"2014-01-01 00:00","interval":"15min"}

因此,键 api_keytypeid 是必需的。 key/value 对 "type":"shop_id""id":[10,14,24] 是我要搜索的 ID 类型和 ID 本身。在上面的示例中,我输入了 3 个不同的 shop_id。但是,我们有超过 250 个 ID,并且还在不断添加中。

如何在不将所有 ID 添加到数组中的情况下请求 ALL 不同的 ID?我在下面粘贴了我的 HTTP CM 和 JSON 源代码编辑器。

正如您现在可能已经猜到的那样,这对我来说是一个未探索的领域,所以我知道我可能选择了完全错误的方式。如果您对我的情况有更好的解决方案,请告诉我。

更新: 所以我将所有商店 ID 存储在一个变量中,我想将其作为值传递。

我在 phone 上回答,所以我没有可用的 ssis,但这是 id 执行的步骤。

  1. Exec sql 获取保存到对象中的商店 ID 列表。

  2. 对于 ado 对象的每个循环,从 1 将商店 ID 存储到变量中。

  3. 数据流

  4. 脚本组件源将商店 ID 作为变量传递。

  5. 建立你的url。

  6. 使用网络客户端下载字符串。

  7. 反序列化JSON并写入数据流完成

第 7 步很长,需要单独的问题。它涉及为您的 json.

设置 类

这应该可以帮助您入门。不过,在发布问题之前研究 step7。

祝你好运。

此外,这里有一个 link 可以帮助我在反序列化 JSON 方面收到。