azure blob 上传镶木地板文件(文件文件夹)
azure blob upload parquet file (a folder of files)
如何将文件夹递归上传到 Azure Blob 存储?我想上传镶木地板文件:
abcd.parquet
├── _SUCCESS
├── myPart=20180101
│ └── part-00179-660f71d6-ed44-41c7-acf0-008724dd923a.c000.gz.parquet
├── myPart=20180102
└── part-00022-660f71d6-ed44-41c7-acf0-008724dd923a.c000.gz.parquet
以下:
az storage blob upload -f abcd.parquet -c my_container -n abcd
失败:Is a directory
似乎可以使用 AZCopy https://stephanefrechette.com/upload-multiple-files-recursively-azure-blob-storage-azure-cli-2-0-macoslinux/#.W3JpGVJCSL4 https://docs.microsoft.com/en-us/azure/storage/common/storage-use-azcopy
在 windows 上进行递归上传
看起来:类似的东西可用于 linux https://docs.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-linux 但我也想知道我是否应该改用 spark。
此外,是否可以将上传时的目录层次结构转换为文件名,即 abcd.parquet_dt=2018..._part-....gz.parquet
以便需要更少的目录列表?
最终,分区在上传到 Azure 后仍应按预期用于 spark。
相关:
- Uploading 10,000,000 files to Azure blob storage from Linux
blobxfer https://github.com/Azure/blobxfer 非常适合将文件同步到 Azure(递归)
如何将文件夹递归上传到 Azure Blob 存储?我想上传镶木地板文件:
abcd.parquet
├── _SUCCESS
├── myPart=20180101
│ └── part-00179-660f71d6-ed44-41c7-acf0-008724dd923a.c000.gz.parquet
├── myPart=20180102
└── part-00022-660f71d6-ed44-41c7-acf0-008724dd923a.c000.gz.parquet
以下:
az storage blob upload -f abcd.parquet -c my_container -n abcd
失败:Is a directory
似乎可以使用 AZCopy https://stephanefrechette.com/upload-multiple-files-recursively-azure-blob-storage-azure-cli-2-0-macoslinux/#.W3JpGVJCSL4 https://docs.microsoft.com/en-us/azure/storage/common/storage-use-azcopy
在 windows 上进行递归上传看起来:类似的东西可用于 linux https://docs.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-linux 但我也想知道我是否应该改用 spark。
此外,是否可以将上传时的目录层次结构转换为文件名,即 abcd.parquet_dt=2018..._part-....gz.parquet
以便需要更少的目录列表?
最终,分区在上传到 Azure 后仍应按预期用于 spark。
相关: - Uploading 10,000,000 files to Azure blob storage from Linux
blobxfer https://github.com/Azure/blobxfer 非常适合将文件同步到 Azure(递归)