Hub 是否支持 MinIO、AWS 和 GCP 的集成?如果是这样,它是如何工作的?

Does Hub support integrations for MinIO, AWS, and GCP? If so, how does it work?

我查看了 Hub——the dataset format for AI——并注意到该 hub 与 GCP 和 AWS 集成。我想知道它是否也支持与 MinIO 的集成。

我知道 Hub 允许您直接将数据集从云存储流式传输到 ML 工作流,但我不确定它集成了哪些 ML 工作流。

我想在 S3 上使用 MinIO,因为我的团队有一个自托管的 MinIO 实例(也就是免费的)。

Hub 允许您从任何地方加载数据。 Hub 在本地工作,在 Google 云、MinIO、AWS 以及 Activeloop 存储上(不需要服务器!)。因此,它允许您加载数据并将数据集从云存储直接流式传输到 ML 工作流。

您可以在 Hub 文档中找到有关 storage authentication 的更多信息。

然后,Hub 允许您通过简单的数据集集成将数据流式传输到 PyTorch 或 TensorFlow,就好像数据是本地的一样,因为您可以 connect Hub datasets to ML frameworks