Azure 数据工厂中的复制数据未完全读取文件
File is not readed completely by Copy Data in Azure Data Factory
我正在开发一个管道，能够将位于 Blob 存储中的 .txt 文件中的数据插入 SQL 数据库中的 table。
问题：activity 配置无法正常工作，原因是“没有读取文件中的所有记录，因此没有将所有数据加载到数据库中（当我意识到这个问题时打开文件并将 .text 文件中的记录数与 SQL table 进行比较。另外，当我在 table 上的 SQL 中搜索上个月的记录时，我没有找不到他们）
注意：我检查了 SQL 中 table 中字符的大小限制，这不是问题所在。
我想与您分享数据副本 activity 和源数据集配置：
接收器数据集：
伙计们，你们知道我做错了什么吗？希望你能帮助我，最好的问候。
如评论中所述，在使用副本 activity 时，您必须确保在 运行 和 activity 之前设置模式。按照设计，模式映射留空，必须由用户手动配置或要求 adf 从数据集中导入模式。
Note: While using Auto create table option in sink, it automatically creates sink table (if nonexistent) in source schema,
but won't be supported when a stored procedure is specified (on the
sink side) or when staging is enabled.
使用 COPY 语句将数据作为接收器加载到 Azure Synapse Analytics 中，连接器支持根据源架构自动创建目标 table 和 DISTRIBUTION = ROUND_ROBIN（如果不存在）。
参考官方文档：Copy and transform data in Azure Synapse Analytics by using Azure Data Factory or Synapse pipelines
来源...
下沉...
因此 Azure Synapse 将用作接收器。此外，必须创建一个 Azure Synapse table 来匹配源的列名、列顺序和列数据类型。
用于动态映射
如果您查看管道代码，您可以在 Translator 部分中看到 JSON 相当于 UI.
中的映射部分
您可以将其重新用作动态映射的基础，以启用进一步复制类似文件，而无需手动配置架构。
复制JSON under mappings in translator
我正在开发一个管道，能够将位于 Blob 存储中的 .txt 文件中的数据插入 SQL 数据库中的 table。
问题：activity 配置无法正常工作，原因是“没有读取文件中的所有记录，因此没有将所有数据加载到数据库中（当我意识到这个问题时打开文件并将 .text 文件中的记录数与 SQL table 进行比较。另外，当我在 table 上的 SQL 中搜索上个月的记录时，我没有找不到他们）
注意：我检查了 SQL 中 table 中字符的大小限制，这不是问题所在。
我想与您分享数据副本 activity 和源数据集配置：
接收器数据集：
伙计们，你们知道我做错了什么吗？希望你能帮助我，最好的问候。
如评论中所述，在使用副本 activity 时，您必须确保在 运行 和 activity 之前设置模式。按照设计，模式映射留空，必须由用户手动配置或要求 adf 从数据集中导入模式。
Note: While using Auto create table option in sink, it automatically creates sink table (if nonexistent) in source schema, but won't be supported when a stored procedure is specified (on the sink side) or when staging is enabled.
使用 COPY 语句将数据作为接收器加载到 Azure Synapse Analytics 中，连接器支持根据源架构自动创建目标 table 和 DISTRIBUTION = ROUND_ROBIN（如果不存在）。
参考官方文档：Copy and transform data in Azure Synapse Analytics by using Azure Data Factory or Synapse pipelines
来源...
下沉...
因此 Azure Synapse 将用作接收器。此外，必须创建一个 Azure Synapse table 来匹配源的列名、列顺序和列数据类型。
用于动态映射
如果您查看管道代码，您可以在 Translator 部分中看到 JSON 相当于 UI.
您可以将其重新用作动态映射的基础，以启用进一步复制类似文件，而无需手动配置架构。
复制JSON under mappings in translator