Tensorflow 服务:大模型,protobuf 错误
Tensorflow Serving: Large model, protobuf error
我正在尝试使用 Tensorflow Serving 制作一个大模型(大小为 1.2 GB),但我得到一个:
2017-12-02 21:55:57.711317: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:236] Loading SavedModel from: ...
[libprotobuf ERROR external/protobuf_archive/src/google/protobuf/io/coded_stream.cc:193] A protocol message was rejected because it was too big (more than 1073741824 bytes). To increase the limit (or to disable these warnings), see CodedInputStream::SetTotalBytesLimit() in google/protobuf/io/coded_stream.h.
2017-12-02 21:55:58.563507: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:284] Loading SavedModel: fail. Took 852178 microseconds.
2017-12-02 21:55:58.563567: E tensorflow_serving/util/retrier.cc:38] Loading servable: {name: 2 version: 2} failed: Data loss: Can't parse .../saved_model.pb as binary proto
几年前我在 Github 上通读了一些相关问题,但最终变得无关紧要,因为 Serving 使用的是 C++ 版本的 protobuf。关于使用 Serving 部署大型模型的信息很少,因此任何信息就足够了。
Tensorflow Serving 是在主机上编译的,模型也是,但使用 python3(我想知道它是否与任何东西有关)。
有没有快速解决这个问题的方法,或者我必须深入研究 Serving C++ 源代码并增加消息的大小?
在评论中按要求编辑:
我按照官方教程保存了模型。模型这么大的原因是我保存了一个嵌入层。无论如何,这是保存代码:
export_path = 'model/1'
builder = saved_model_builder.SavedModelBuilder(export_path)
signature = predict_signature_def(inputs={'input': input},
outputs={'sent': output})
builder.add_meta_graph_and_variables(sess=session,
tags=[tag_constants.SERVING],
signature_def_map={'predict': signature})
builder.save()
该模型由 GitHub 在 Ubuntu 16.04 主机上编译的 TF 服务读取。
希望它对某人有所帮助,但我 "found" 一个解决方案。
主要问题很明显;这是一个 NLP 模型,因此它有一个很大的词汇量。在图形定义中保留词汇会使 metagraphdef 膨胀,并且 protobuf 在面对如此大的协议时会出错。
解决方案是将字典放在 assets_collection 中。关于您实际需要做的事情的文档很少,但是在官方回购中查看 saved_model_test.py 值得一看。
要利用 Tensorflow Serving 的资产,必须创建自定义 Servable,如 Creating a new kind of servable 官方文档中所述。无法给出具体的例子,因为我暂时只是简单地容器化了模型。
如果有人有例子,或者在 NLP 模型部署方面有更好的策略,我很乐意进一步讨论。
我正在尝试使用 Tensorflow Serving 制作一个大模型(大小为 1.2 GB),但我得到一个:
2017-12-02 21:55:57.711317: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:236] Loading SavedModel from: ...
[libprotobuf ERROR external/protobuf_archive/src/google/protobuf/io/coded_stream.cc:193] A protocol message was rejected because it was too big (more than 1073741824 bytes). To increase the limit (or to disable these warnings), see CodedInputStream::SetTotalBytesLimit() in google/protobuf/io/coded_stream.h.
2017-12-02 21:55:58.563507: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:284] Loading SavedModel: fail. Took 852178 microseconds.
2017-12-02 21:55:58.563567: E tensorflow_serving/util/retrier.cc:38] Loading servable: {name: 2 version: 2} failed: Data loss: Can't parse .../saved_model.pb as binary proto
几年前我在 Github 上通读了一些相关问题,但最终变得无关紧要,因为 Serving 使用的是 C++ 版本的 protobuf。关于使用 Serving 部署大型模型的信息很少,因此任何信息就足够了。
Tensorflow Serving 是在主机上编译的,模型也是,但使用 python3(我想知道它是否与任何东西有关)。 有没有快速解决这个问题的方法,或者我必须深入研究 Serving C++ 源代码并增加消息的大小?
在评论中按要求编辑:
我按照官方教程保存了模型。模型这么大的原因是我保存了一个嵌入层。无论如何,这是保存代码:
export_path = 'model/1'
builder = saved_model_builder.SavedModelBuilder(export_path)
signature = predict_signature_def(inputs={'input': input},
outputs={'sent': output})
builder.add_meta_graph_and_variables(sess=session,
tags=[tag_constants.SERVING],
signature_def_map={'predict': signature})
builder.save()
该模型由 GitHub 在 Ubuntu 16.04 主机上编译的 TF 服务读取。
希望它对某人有所帮助,但我 "found" 一个解决方案。
主要问题很明显;这是一个 NLP 模型,因此它有一个很大的词汇量。在图形定义中保留词汇会使 metagraphdef 膨胀,并且 protobuf 在面对如此大的协议时会出错。
解决方案是将字典放在 assets_collection 中。关于您实际需要做的事情的文档很少,但是在官方回购中查看 saved_model_test.py 值得一看。
要利用 Tensorflow Serving 的资产,必须创建自定义 Servable,如 Creating a new kind of servable 官方文档中所述。无法给出具体的例子,因为我暂时只是简单地容器化了模型。
如果有人有例子,或者在 NLP 模型部署方面有更好的策略,我很乐意进一步讨论。