从 Azure 存储下载 blob 对象时了解 azcopy 恢复
Understanding azcopy resumption when downloading blob objects from Azure storage
我有一个场景需要从 Azure 存储下载数百万个 blob。我正在使用 azcopy
.
更多 blob 正在不断添加到此存储设备(@ ~10K/天)。
假设我的下载中断了。我在 30 分钟后重试。到那时,已有约 200 个 blob 被添加到存储中。在我的命令行上,我看到:
Incomplete operation with same command line detected at the journal directory "/home/myuser/Microsoft/Azure/AzCopy", do you want to resume the operation?
如果我输入"Yes",会出现以下2种情况?
1) 它将下载剩余的 blob 文件,包括添加的 200 个新文件
2) 它将下载剩余的 blob 文件,不包括新文件。
请确认。
这取决于您的新 blob 的名称。 AzCopy 将最后列出的 blob 名称作为检查点记录到其日志文件中,并且在恢复后,它将继续从该检查点开始逐页列出 blob。如果您的新 blob 的名称在检查点之前,则它们将不会包含在此下载传输作业中;否则,它们将被包括在内。
我有一个场景需要从 Azure 存储下载数百万个 blob。我正在使用 azcopy
.
更多 blob 正在不断添加到此存储设备(@ ~10K/天)。
假设我的下载中断了。我在 30 分钟后重试。到那时,已有约 200 个 blob 被添加到存储中。在我的命令行上,我看到:
Incomplete operation with same command line detected at the journal directory "/home/myuser/Microsoft/Azure/AzCopy", do you want to resume the operation?
如果我输入"Yes",会出现以下2种情况?
1) 它将下载剩余的 blob 文件,包括添加的 200 个新文件
2) 它将下载剩余的 blob 文件,不包括新文件。
请确认。
这取决于您的新 blob 的名称。 AzCopy 将最后列出的 blob 名称作为检查点记录到其日志文件中,并且在恢复后,它将继续从该检查点开始逐页列出 blob。如果您的新 blob 的名称在检查点之前,则它们将不会包含在此下载传输作业中;否则,它们将被包括在内。