将 blob 存储中的 xslx csv 文件转换并存储到 ADLS 中
Transform xslx csv file in blob storage and store into ADLS
我需要一些帮助来转换位于 azure blob 存储中的 xslx、csv(删除一些行,重命名一些列名称),并将其保存在 adls 中。
有人可以给我一些关于如何完成此任务的想法或步骤,这真的很有帮助。感谢您的帮助,非常感谢
P.S : 我最近从开发转向云,对云完全陌生,对 adf、管道、activity、blob 和一些基本的东西有一些基本的想法。
无法使用 Azure 数据工厂将 xslx 文件存储在 Azure Data Lake Storage 中。
解决方法是使用 Python 代码存储它。
Python代码在此github link
要转换 CSV 文件并将其存储到 Azure Data Lake Storage,您可以使用 Azure 数据工厂。
步骤 1: 创建管道
Step2: Select数据流.
第 3 步: 添加源(Blob 存储中的 CSV)和接收器(Azure Data Lake Storage)
Step4: 我已经获取了示例 CSV 文件,如下所示。有 2 列 TestCol1 和 TestCol2。
Step5: 为了重命名这两列,我在数据流中使用了 select 语句。这里我重命名了 2 列。
如上图所示,您可以重命名列。
第 6 步:现在您可以运行通过管道将数据存储到 Azure Data Lake Storage。
还有很多选项可以转换 CSV 文件。如下截图所示。
有关更多数据转换的想法,您可以点击这 2 个链接 –
我需要一些帮助来转换位于 azure blob 存储中的 xslx、csv(删除一些行,重命名一些列名称),并将其保存在 adls 中。 有人可以给我一些关于如何完成此任务的想法或步骤,这真的很有帮助。感谢您的帮助,非常感谢
P.S : 我最近从开发转向云,对云完全陌生,对 adf、管道、activity、blob 和一些基本的东西有一些基本的想法。
无法使用 Azure 数据工厂将 xslx 文件存储在 Azure Data Lake Storage 中。
解决方法是使用 Python 代码存储它。 Python代码在此github link
要转换 CSV 文件并将其存储到 Azure Data Lake Storage,您可以使用 Azure 数据工厂。
步骤 1: 创建管道
Step2: Select数据流.
第 3 步: 添加源(Blob 存储中的 CSV)和接收器(Azure Data Lake Storage)
Step4: 我已经获取了示例 CSV 文件,如下所示。有 2 列 TestCol1 和 TestCol2。
Step5: 为了重命名这两列,我在数据流中使用了 select 语句。这里我重命名了 2 列。
如上图所示,您可以重命名列。
第 6 步:现在您可以运行通过管道将数据存储到 Azure Data Lake Storage。
还有很多选项可以转换 CSV 文件。如下截图所示。
有关更多数据转换的想法,您可以点击这 2 个链接 –