按列值的数据流分区不将唯一列值写入每个文件夹

Question

我正在读取一个 SQL 数据库作为源，它输出以下内容 table。

我的意图是使用数据流将每个唯一类型保存到一个可能命名为特定类型的数据湖文件夹分区中。

我设法创建了单独的文件夹，但我的数据流将所有类型的整个 table 保存到每个文件夹中。

我的数据流

来源

Window

接收器

有什么想法吗？

Answer 1

我创建了一个相同的 csv 源并且效果很好，请参考我的示例。

Windows 设置：

接收器设置：像这样选择文件名选项

注意，请不要在sink端再次设置optmize。

我们可以获得的输出文件夹模式：

目前，数据工厂数据流不支持自定义输出文件名。

HTH.

Answer 2

您也可以尝试使用 OpType 列而不是使用分区来“将文件夹命名为列数据”。这是接收器设置中的 属性。