将数据从本地 SFTP 文件夹提取到 Azure SQL 数据库（Azure 数据工厂）
Ingest Data From On-Premise SFTP Folder To Azure SQL Database (Azure Data Factory)
用例：我定期将不同大小的数据文件复制到特定的 SFTP 文件夹 (Daily/Weekly)。所有这些文件都需要验证和处理。然后将它们写入 Azure SQL 中的相关表。文件为 CSV 格式，实际上是一个平面文本文件，直接对应 Azure SQL.
中的特定 Table
实施：
计划使用 Azure 数据工厂。到目前为止，根据我的阅读，我可以看到我可以有一个复制管道，以便将数据从 On-Prem SFTP 复制到 Azure Blob 存储。同样，我们可以使用 SSIS 管道将数据从本地 SQL 服务器复制到 Azure SQL.
但我没有看到现有的解决方案来实现我正在寻找的东西。有人可以提供一些关于如何实现相同目标的见解吗？
我会尝试将数据工厂与 Data Flow 到 validate/process 文件一起使用（如果可能的话）。如果其他组件的验证太complex/depends，那么我会使用函数并将结果文件放入blob。副本 activity 还能够将生成的 CSV 文件导入到 SQL 服务器。
您可以创建执行以下操作的管道：
- 复制数据 - 将文件从 SFTP 复制到 Blob 存储
- 通过Data Flow
做数据processing/validation
- 并将它们直接汇入 SQL table（通过数据流汇）
当然，您需要一个 integration runtime，它可以访问本地服务器 - 通过使用 VNet 集成或使用自托管 IR。 （如果不能公开访问）
用例：我定期将不同大小的数据文件复制到特定的 SFTP 文件夹 (Daily/Weekly)。所有这些文件都需要验证和处理。然后将它们写入 Azure SQL 中的相关表。文件为 CSV 格式，实际上是一个平面文本文件，直接对应 Azure SQL.
中的特定 Table实施：
计划使用 Azure 数据工厂。到目前为止，根据我的阅读，我可以看到我可以有一个复制管道，以便将数据从 On-Prem SFTP 复制到 Azure Blob 存储。同样，我们可以使用 SSIS 管道将数据从本地 SQL 服务器复制到 Azure SQL.
但我没有看到现有的解决方案来实现我正在寻找的东西。有人可以提供一些关于如何实现相同目标的见解吗？
我会尝试将数据工厂与 Data Flow 到 validate/process 文件一起使用（如果可能的话）。如果其他组件的验证太complex/depends，那么我会使用函数并将结果文件放入blob。副本 activity 还能够将生成的 CSV 文件导入到 SQL 服务器。
您可以创建执行以下操作的管道：
- 复制数据 - 将文件从 SFTP 复制到 Blob 存储
- 通过Data Flow 做数据processing/validation
- 并将它们直接汇入 SQL table（通过数据流汇）
当然，您需要一个 integration runtime，它可以访问本地服务器 - 通过使用 VNet 集成或使用自托管 IR。 （如果不能公开访问）