在分布式张量流中仅恢复零件模型的推荐方法是什么

Question

当我们在不同的任务上微调模型时，模型中只有一部分变量从预训练任务中恢复，其他保留为初始值。

正如许多文档所建议的那样（page1 page2），当使用本地图进行训练时，在 运行 全局初始化操作之后恢复预训练模型（如果 MonitoredSession 或在 "init_fn" 中调用恢复包括主管）。

但是在分布式情况下，global init op 是否在恢复模型调用之前使"model_ready"returns为真？其他非主节点将使用 "not ready" 值。

Answer 1

搞清楚。 global_variables_initializer 在方面 variable_initializers(global_variables())。所以我们可以只初始化一些选定的变量并从预训练模型中恢复左变量。 "model_ready" 将保持为 False，直到恢复所有变量。