坚持 ADF 管道的基础知识

Question

我刚刚开始进行 ADF 开发，但我遇到了以下需求。

来源-宇宙数据库collection
目标 - Azure Data Lake Gen2 存储
要求 - 1.读个宇宙collection 2. FOR EACH RECORD in the query output，创建单独的输出文件第二代数据湖存储 3. 从相同的查询输出中，创建另一个字段分隔的单个文件通过管道字符（这里我需要将 JSON 查询输出转换为表格管道分隔数据结构）
我卡住的地方- 从 cosmos collection 读取，我使用了一个复制数据 activity，但是我不明白在这个 activity 的接收器中放什么将查询输出传递给下一个 activity(for-each 或另一个副本 activity)

Answer 1

您可以使用Lookup activity的组合来获取collection，CopyActivity将文件写入ADLS。

在下面的示例中，我使用了记录中的一个字段和一个参数来遍历每条记录，即 @string(item().CustomerID)，但您可以按照您的 collection 使用。并根据需要修改查询。

(需求编号1)

CosmosDB源码查询：

@concat('select * from c where c.CustomerID = ',variables('ids'))

然后确保接收器属性和相应的数据集属性中提到的文件扩展名正确。我使用了带有管道 (|) 分隔的 .tsv，另一个是 .csv 文件。（根据您的要求编号 2 & 3）

stuck with basics of ADF pipeline