Web API / SSIS - 起点
Web API / SSIS - A starting point
为了透明起见,这是与工作生活相关的。但我绝对不是在寻找 'the solution' 简单的起点。
问题;
我被要求将所有 yammer 数据导入数据库。虽然我非常熟悉数据库的创建、管理员以及使用 SSIS 在平面 sources/databses 中来回移动数据。我对 Web API 的了解几乎为零。
我发现 Yammer 使用 api 允许按计划下载信息。
问题;
- Yammer 可以用作 SSIS 数据源以 transform/import 进入数据库表吗?如果是这样-怎么办!?我不断收到使用我自己的管理员凭据进行的未经授权的尝试。
谢谢,
Yammer 有一个 Data Export API,其中 returns 大部分数据是包含多个 CSV 文件的 ZIP 文件。模型和属性列表大约在我链接到的页面的中间位置。
这似乎更符合 SSIS 解决方案,但某些数据只能通过单独的 REST 调用获得。分析数据导出提供的内容,以确定您是否需要进行额外的 REST 调用以获取额外的元数据。
我对 SSIS 不是很熟悉,但是您需要遵循的通用过程是:
- 在与服务帐户关联的 Yammer 中创建一个经过验证的管理员用户(拥有 Yammer 许可证的 O365 用户在网络管理中升级为经过验证的管理员。)为了测试,您可以使用任何经过验证的管理员帐户,但最好使用服务帐户练习。
- 使用经过验证的管理员帐户和register 应用程序登录。
- 使用经过验证的管理员帐户登录时获取令牌。您可以遵循 OAuth 流程,或在注册后从 application information page 获取。此令牌具有导出内容所需的权限。
- 向导出请求 API 指定正确的参数。尝试不带附件的一小段时间 window 以开始使用。在使用 SSIS 尝试此操作之前,先使用 PowerShell 在 SSIS 外部测试此操作。
- 将 ZIP 文件展开到磁盘上的一个目录。同样,首先在 SSIS 之外执行此操作最初会更简单。
- 使用 SSIS 将 CSV 文件导入您的数据库。
- CSV 文件具有 API 端点,用于获取有关消息、用户、组等的额外元数据。如果您确实需要元数据,则需要弄清楚如何最好地从 SSIS 调用这些元数据,但它更多 "how do I make many REST calls with SSIS?"
的问题
为了透明起见,这是与工作生活相关的。但我绝对不是在寻找 'the solution' 简单的起点。
问题;
我被要求将所有 yammer 数据导入数据库。虽然我非常熟悉数据库的创建、管理员以及使用 SSIS 在平面 sources/databses 中来回移动数据。我对 Web API 的了解几乎为零。
我发现 Yammer 使用 api 允许按计划下载信息。
问题;
- Yammer 可以用作 SSIS 数据源以 transform/import 进入数据库表吗?如果是这样-怎么办!?我不断收到使用我自己的管理员凭据进行的未经授权的尝试。
谢谢,
Yammer 有一个 Data Export API,其中 returns 大部分数据是包含多个 CSV 文件的 ZIP 文件。模型和属性列表大约在我链接到的页面的中间位置。
这似乎更符合 SSIS 解决方案,但某些数据只能通过单独的 REST 调用获得。分析数据导出提供的内容,以确定您是否需要进行额外的 REST 调用以获取额外的元数据。
我对 SSIS 不是很熟悉,但是您需要遵循的通用过程是:
- 在与服务帐户关联的 Yammer 中创建一个经过验证的管理员用户(拥有 Yammer 许可证的 O365 用户在网络管理中升级为经过验证的管理员。)为了测试,您可以使用任何经过验证的管理员帐户,但最好使用服务帐户练习。
- 使用经过验证的管理员帐户和register 应用程序登录。
- 使用经过验证的管理员帐户登录时获取令牌。您可以遵循 OAuth 流程,或在注册后从 application information page 获取。此令牌具有导出内容所需的权限。
- 向导出请求 API 指定正确的参数。尝试不带附件的一小段时间 window 以开始使用。在使用 SSIS 尝试此操作之前,先使用 PowerShell 在 SSIS 外部测试此操作。
- 将 ZIP 文件展开到磁盘上的一个目录。同样,首先在 SSIS 之外执行此操作最初会更简单。
- 使用 SSIS 将 CSV 文件导入您的数据库。
- CSV 文件具有 API 端点,用于获取有关消息、用户、组等的额外元数据。如果您确实需要元数据,则需要弄清楚如何最好地从 SSIS 调用这些元数据,但它更多 "how do I make many REST calls with SSIS?" 的问题