3D 对象、音频、视频等非图像数据类型如何与 Activeloop Hub 配合使用?

How do non-image datatypes such as 3D objects, audio, video, etc work with Activeloop Hub?

我使用的是 Hub,一个 dataset format for AI 允许数据流式传输到 GPU 而不会牺牲性能。

我一直在使用 Hub 处理图像数据集,并想尝试将该产品用于其他数据类型。

Hub 如何处理不同的数据类型,例如 3D 对象、音频、视频等?

下面的 Activeloop Hub 文档有一个如何 upload image datasets to Hub 的示例,我正在使用类似的方法来处理我的图像数据集。

您目前可以将任何类型的数据作为未压缩的数组上传。简单地不要分配 Hub 类型 (htype),它是每个张量的 属性,它向 Hub 和 Activeloop 平台提供有关如何最佳存储、解析和可视化 Hub 数据集的信息。

如果你这样做,你将能够 .append 任何你喜欢的数组,只要 len(ds.tensor[i].numpy().shape) 对所有样本都是相等的。因此,样本不必具有相同的形状,但它们需要具有相同的维数。

展望未来,Activeloop Hub 将添加对 application-specific multi-dimensional htypes 的支持,例如视频、图像和音频等。这些将包括适当的压缩。

Hub htype docs 可以帮助您了解每种类型的维度和约定。