Web API / SSIS - 起点

Web API / SSIS - A starting point

为了透明起见,这是与工作生活相关的。但我绝对不是在寻找 'the solution' 简单的起点。

问题;

我被要求将所有 yammer 数据导入数据库。虽然我非常熟悉数据库的创建、管理员以及使用 SSIS 在平面 sources/databses 中来回移动数据。我对 Web API 的了解几乎为零。

我发现 Yammer 使用 api 允许按计划下载信息。

问题;

谢谢,

Yammer 有一个 Data Export API,其中 returns 大部分数据是包含多个 CSV 文件的 ZIP 文件。模型和属性列表大约在我链接到的页面的中间位置。

这似乎更符合 SSIS 解决方案,但某些数据只能通过单独的 REST 调用获得。分析数据导出提供的内容,以确定您是否需要进行额外的 REST 调用以获取额外的元数据。

我对 SSIS 不是很熟悉,但是您需要遵循的通用过程是:

  • 在与服务帐户关联的 Yammer 中创建一个经过验证的管理员用户(拥有 Yammer 许可证的 O365 用户在网络管理中升级为经过验证的管理员。)为了测试,您可以使用任何经过验证的管理员帐户,但最好使用服务帐户练习。
  • 使用经过验证的管理员帐户和register 应用程序登录。
  • 使用经过验证的管理员帐户登录时获取令牌。您可以遵循 OAuth 流程,或在注册后从 application information page 获取。此令牌具有导出内容所需的权限。
  • 向导出请求 API 指定正确的参数。尝试不带附件的一小段时间 window 以开始使用。在使用 SSIS 尝试此操作之前,先使用 PowerShell 在 SSIS 外部测试此操作。
  • 将 ZIP 文件展开到磁盘上的一个目录。同样,首先在 SSIS 之外执行此操作最初会更简单。
  • 使用 SSIS 将 CSV 文件导入您的数据库。
  • CSV 文件具有 API 端点,用于获取有关消息、用户、组等的额外元数据。如果您确实需要元数据,则需要弄清楚如何最好地从 SSIS 调用这些元数据,但它更多 "how do I make many REST calls with SSIS?"
  • 的问题