张量流模型:.data-00000-of-00002 和 data-00001-of-00002 之间有什么区别?

tensorflow model: what is the difference between .data-00000-of-00002 and ,data-00001-of-00002?

在存储tensorflow ckpt时,除了.index、.meta和checkpoint文件外,还会同时保存两个“.data”文件:.data-00000-of-00002和.data-00001-的-00002。前者的尺寸远小于后者。我的问题是,为什么保存了两个数据文件,它们之间有什么区别?

根据tensorflow官方page: 一个或多个分片 (<prefix>-<global_step>.data-<shard_index>-of-<number_of_shards>) 包含模型的权重,索引文件包含哪些权重存储在哪个分片中。分片的数量取决于您使用多少台机器进行训练。

因此,如果您在两台机器上训练一个模型,您将有两个后缀为 .data-00000-of-00002.data-00001-of-00002

的分片

您可能也想看看 this url

实例化tf.train.Saver时,您可以设置参数sharded的值(默认值为False)。 sharded=True 指示 Saver 为每个 machine/device.

分片检查点