在 Azure Blob 存储中为大量数据设置 Blob 索引标记的最佳方法是什么
What is the optimal way of setting Blob index tag in Azure Blob storage for large amount of data
我需要为 Azure Blob 存储中存在的大量数据(近 40TB)添加 Blob 索引标签。对将来要上传的所有 blob 也应该这样做。对于后者,我需要创建一个定期执行的 powershell 脚本,它应该只获取上次修改日期大于给定日期时间的 blob,并添加一个值等于上次修改日期的索引标记。这可能吗 ?如果是,如何? .另外,在对性能影响最小的情况下向大量数据添加索引的理想方法是什么?
注意:我是天蓝色的新手。更好的想法表示赞赏。
我的 objective 是定期备份 blob,比如说每周一次。目前,由于 blob 较大,迭代所有这些对象需要 1 天以上的时间。我希望减少利用索引标签的时间,为了实现这一点,我不想在 blob 上传期间设置索引标签。(这是一种“请勿触摸”遗留代码)。
总而言之,我需要一种机制来快速找到上周内添加的 blob(无需遍历所有 blob),使用 blob 的最后修改日期和未来某个时间设置索引标签,我将通过过滤这些索引标签来进行备份.
您能否通过将上次修改时间添加为索引标签来说明您想要完成什么?您打算如何使用此标签?
此存储帐户中有多少个 blob?
可以使用 Set Blob Tags API, or equivalent PS/CLI such as Set-AzStorageBlobTag.
设置 Blob 索引标签
对于现有的 blob,您需要调用 Get Blob Properties 来提取 Last-Modified 时间,然后将其设置为标签。
对于上传到存储帐户的新 blob,您是否可以控制上传 blob 的客户端?如果是这样,如果客户端在上传 blob 时将当前时间设置为标签,效率会更高。您可以使用 ABAC 强制客户端在上传过程中包含带有特定密钥的标签 – 请参阅 Example Azure role assignment conditions (preview) - Azure RBAC - Azure Storage | Microsoft Docs.
我需要为 Azure Blob 存储中存在的大量数据(近 40TB)添加 Blob 索引标签。对将来要上传的所有 blob 也应该这样做。对于后者,我需要创建一个定期执行的 powershell 脚本,它应该只获取上次修改日期大于给定日期时间的 blob,并添加一个值等于上次修改日期的索引标记。这可能吗 ?如果是,如何? .另外,在对性能影响最小的情况下向大量数据添加索引的理想方法是什么?
注意:我是天蓝色的新手。更好的想法表示赞赏。
我的 objective 是定期备份 blob,比如说每周一次。目前,由于 blob 较大,迭代所有这些对象需要 1 天以上的时间。我希望减少利用索引标签的时间,为了实现这一点,我不想在 blob 上传期间设置索引标签。(这是一种“请勿触摸”遗留代码)。 总而言之,我需要一种机制来快速找到上周内添加的 blob(无需遍历所有 blob),使用 blob 的最后修改日期和未来某个时间设置索引标签,我将通过过滤这些索引标签来进行备份.
您能否通过将上次修改时间添加为索引标签来说明您想要完成什么?您打算如何使用此标签?
此存储帐户中有多少个 blob?
可以使用 Set Blob Tags API, or equivalent PS/CLI such as Set-AzStorageBlobTag.
设置 Blob 索引标签对于现有的 blob,您需要调用 Get Blob Properties 来提取 Last-Modified 时间,然后将其设置为标签。
对于上传到存储帐户的新 blob,您是否可以控制上传 blob 的客户端?如果是这样,如果客户端在上传 blob 时将当前时间设置为标签,效率会更高。您可以使用 ABAC 强制客户端在上传过程中包含带有特定密钥的标签 – 请参阅 Example Azure role assignment conditions (preview) - Azure RBAC - Azure Storage | Microsoft Docs.