使用数据工厂附加到 azure 数据湖中的文件
appending to a file in azure data lake using data factory
我 运行 在使用数据工厂将数据附加到 Azure 数据湖中的文件时遇到问题。
我正在尝试从 MS Graph API 获取数据，我能够获取数据并将其复制到 Single API 调用中，我使用“复制数据”功能将响应推送到数据湖，但是如果我想在得到响应的地方进行多次调用，然后将这些响应附加到一个文件中，我不知道该怎么做。我不认为“复制数据”activity 是正确的操作。
一个例子：
API获取租户中的所有组：
https://graph.microsoft.com/v1.0/Groups/
API 获取与群组关联的所有成员：
https://graph.microsoft.com/v1.0/groups/"GroupID"/owners
“组 ID”来自顶部 API 调用。**
我能够构建循环并正确调用。
它只是在我不知所措的地方附加第二次通话的结果。我不认为为每个组创建一个新文件是正确的方法。
我认为您有几个问题需要解决。首先，标准 Blob 不支持追加操作。为此，您需要一个 AppendBlob。第二个问题是ADF不支持AppendBlob。
这里是 a question 我讨论复制 activity 和 AppendBlob 的地方。
这里 another answer（不是我的）有一个有趣的方法，它使用本机 REST API 来附加 blob。
另一种选择是让进程根据 运行 创建一个新文件。全部创建后，您可以使用 DataFlow 将它们折叠成一个文件。
我 运行 在使用数据工厂将数据附加到 Azure 数据湖中的文件时遇到问题。 我正在尝试从 MS Graph API 获取数据，我能够获取数据并将其复制到 Single API 调用中，我使用“复制数据”功能将响应推送到数据湖，但是如果我想在得到响应的地方进行多次调用，然后将这些响应附加到一个文件中，我不知道该怎么做。我不认为“复制数据”activity 是正确的操作。
一个例子： API获取租户中的所有组：
https://graph.microsoft.com/v1.0/Groups/
API 获取与群组关联的所有成员：
https://graph.microsoft.com/v1.0/groups/"GroupID"/owners
“组 ID”来自顶部 API 调用。**
我能够构建循环并正确调用。 它只是在我不知所措的地方附加第二次通话的结果。我不认为为每个组创建一个新文件是正确的方法。
我认为您有几个问题需要解决。首先，标准 Blob 不支持追加操作。为此，您需要一个 AppendBlob。第二个问题是ADF不支持AppendBlob。
这里是 a question 我讨论复制 activity 和 AppendBlob 的地方。
这里 another answer（不是我的）有一个有趣的方法，它使用本机 REST API 来附加 blob。
另一种选择是让进程根据 运行 创建一个新文件。全部创建后，您可以使用 DataFlow 将它们折叠成一个文件。