Mosaic 是否支持摄取压缩数据?
Does Mosaic supports ingesting compressed data?
我们有一个场景是将压缩文件上传到Microsoft Azure中的Blob容器,然后读取它。
是否可以在Mosaic中实现,如果可以,实现方法是什么?
我们有 .gz
格式的文件。
是的,您可以通过 Azure Reader 在 Mosaic 中上传和读取压缩文件。
目前,Mosaic 支持两种压缩类型 - .ZIP 和 .GZ
要读取 Mosaic 的 Azure Reader 节点中的压缩文件,您可以按照以下步骤操作 -
- 在路径字段中,提供压缩文件夹的路径,如下面的屏幕截图所示
- 将
Is Compressed
的切换按钮设置为 True
- Select 压缩类型 -(.ZIP 或 .GZ)
- 在压缩路径中,我们必须提供没有压缩扩展名的文件。
例如如果压缩文件是“ABC.csv.gz”,那么在压缩路径中它将是“ABC.csv”
同样,对于以 .zip 格式压缩的文件,压缩路径将是该压缩文件夹中文件的路径。
例如压缩文件夹为“ABC.zip”,则压缩路径为“ABC/file.csv”
- Select 文件格式和验证。
我们有一个场景是将压缩文件上传到Microsoft Azure中的Blob容器,然后读取它。
是否可以在Mosaic中实现,如果可以,实现方法是什么?
我们有 .gz
格式的文件。
是的,您可以通过 Azure Reader 在 Mosaic 中上传和读取压缩文件。 目前,Mosaic 支持两种压缩类型 - .ZIP 和 .GZ
要读取 Mosaic 的 Azure Reader 节点中的压缩文件,您可以按照以下步骤操作 -
- 在路径字段中,提供压缩文件夹的路径,如下面的屏幕截图所示
- 将
Is Compressed
的切换按钮设置为 True - Select 压缩类型 -(.ZIP 或 .GZ)
- 在压缩路径中,我们必须提供没有压缩扩展名的文件。 例如如果压缩文件是“ABC.csv.gz”,那么在压缩路径中它将是“ABC.csv” 同样,对于以 .zip 格式压缩的文件,压缩路径将是该压缩文件夹中文件的路径。 例如压缩文件夹为“ABC.zip”,则压缩路径为“ABC/file.csv”
- Select 文件格式和验证。