在 Azure 数据工厂的数据流中获取数据湖元数据
Getting Data Lake Metadata in Azure Data Factory's Data Flow
我想在数据流中将复制 parquet 文件的时间戳添加到我的数据框中作为派生列。
在源模块中,我可以通过最后修改 过滤镶木地板 文件,这让我认为应该可以访问文件的元数据,包括通过派生列转换复制的时间戳,但我找不到任何东西在 Microsoft documentation.
中
数据流表达式中没有函数可以获取最后修改时间
作为解决方法,您可以创建一个获取元数据 activity 来获取它,然后将它的值传递给数据流中的参数。
表达式:@activity('Get Metadata1').output.lastModified
我想在数据流中将复制 parquet 文件的时间戳添加到我的数据框中作为派生列。
在源模块中,我可以通过最后修改 过滤镶木地板 文件,这让我认为应该可以访问文件的元数据,包括通过派生列转换复制的时间戳,但我找不到任何东西在 Microsoft documentation.
中
数据流表达式中没有函数可以获取最后修改时间
作为解决方法,您可以创建一个获取元数据 activity 来获取它,然后将它的值传递给数据流中的参数。
表达式:@activity('Get Metadata1').output.lastModified