将数据集上传到 Hub 时停止运行时的原因是什么?

What does stopping the runtime while uploading a dataset to Hub cause?

尝试将数据集上传到 Hub (dataset format for AI) S3SetError: Connection was closed before we received a valid response from endpoint URL: "<...>".

时出现以下错误

所以,我尝试删除数据集,但它在下面抛出了这个错误。

CorruptedMetaError: 'boxes/tensor_meta.json' and 'boxes/chunks_index/unsharded' have a record of different numbers of samples. Got 0 and 6103 respectively.

使用集线器版本:v2.3.1

似乎在您上传数据集时运行时中断,导致您尝试上传的数据损坏。删除时使用 force=True 应该允许您删除它。

有关更多信息,请随时查看 Hub API 基础文档,了解有关如何 delete datasets in Hub.

的详细信息

如果您在中途停止上传 Hub 数据集,您的数据集将仅部分上传到 Hub。因此,您将需要重新开始上传。如果你想 re-create 数据集,你可以在 hub.empty(overwrite = True) 中使用 overwrite = True 标志。如果您正在对现有数据集进行更新,您应该使用版本控制来检查状态良好的状态。