Azure - 实时将文件从本地复制到 blob

Question

我在 Azure 平台上工作并使用 Azure 数据工厂 v2 执行数据集成 (ETL) 活动。我需要在将消息文件放入外部 SFTP 路径时实时解析 .txt 格式的消息文件。

管道如下所示：-

源 --> SFTP 服务器 --> Azure Blob --> ADF 管道 --> 数据库

当文件被放入外部 SFTP 服务器时，管道应该从 SFTP 服务器获取文件并将其复制到 Azure blob。从那里开始进行其余的处理。

谁能告诉我如何实时制作 ADF 作业 运行 以查找存放在外部 SFTP 路径中的新文件？在 Azure 中使用不同 tool/technology 的任何建议也很好。

Answer 1

你应该看看 Azure Logic App, it has an SFTP connector:

• SFTP trigger: When a file is added or modified

然后将文件复制到 blob 存储（使用 blob connector）：

• Create and manage blobs in Azure blob storage with Azure Logic Apps

然后使用 ADP connector（预览版）

触发 ADP 管道

因此，逻辑应用程序将在新文件上传到 FTP 时触发，然后将文件复制到 blob 存储并触发 ADP 管道 运行，无需任何代码。