最小工作示例 tensorflow 服务客户端
MInimum working example tensorflow serving client
我正在处理基本的 Tensorflow 服务示例。我正在关注 MNIST 示例，除了我想使用 numpy array 到 predict 另一个 numpy array[= 而不是分类67=].
为此，我首先训练了我的神经网络
x = tf.placeholder("float", [None, n_input],name ="input_values")
weights = {
'encoder_h1': tf.Variable(tf.random_normal([n_input, n_hidden_1])),
'encoder_h2': tf.Variable(tf.random_normal([n_hidden_1, n_hidden_2])),
'encoder_h3': tf.Variable(tf.random_normal([n_hidden_2, n_hidden_3])),
'decoder_h1': tf.Variable(tf.random_normal([n_hidden_3, n_hidden_2])),
'decoder_h2': tf.Variable(tf.random_normal([n_hidden_2, n_hidden_1])),
'decoder_h3': tf.Variable(tf.random_normal([n_hidden_1, n_input])),
}
biases = {
'encoder_b1': tf.Variable(tf.random_normal([n_hidden_1])),
'encoder_b2': tf.Variable(tf.random_normal([n_hidden_2])),
'encoder_b3': tf.Variable(tf.random_normal([n_hidden_3])),
'decoder_b1': tf.Variable(tf.random_normal([n_hidden_2])),
'decoder_b2': tf.Variable(tf.random_normal([n_hidden_1])),
'decoder_b3': tf.Variable(tf.random_normal([n_input])),
}
# Building the encoder
def encoder(x):
# Encoder Hidden layer with sigmoid activation #1
layer_1 = tf.nn.tanh(tf.matmul(x, weights['encoder_h1'])+biases['encoder_b1'])
print(layer_1.shape)
# Decoder Hidden layer with sigmoid activation #2
layer_2 = tf.nn.tanh(tf.matmul(layer_1, weights['encoder_h2'])+biases['encoder_b2'])
print(layer_2.shape)
# Layer 3
layer_3 = tf.nn.tanh(tf.matmul(layer_2, weights['encoder_h3'])+biases['encoder_b3'])
print(layer_3.shape)
return layer_3
# Building the decoder
def decoder(x):
# Encoder Hidden layer with sigmoid activation #1
layer_1 = tf.nn.tanh(tf.matmul(x, weights['decoder_h1'])+biases['decoder_b1'])
print(layer_1.shape)
# Decoder Hidden layer with sigmoid activation #2
layer_2 = tf.nn.tanh(tf.matmul(layer_1, weights['decoder_h2'])+biases['decoder_b2'])
# Layer 3
layer_3 = tf.nn.tanh(tf.matmul(layer_2, weights['decoder_h3'])+biases['decoder_b3'])
return layer_3
# Construct model
encoder_op = encoder(x)
decoder_op = decoder(encoder_op)
# Prediction
y = decoder_op
# Objective functions
y_ = tf.placeholder("float", [None,n_input],name="predict")
接下来按照这里有人的建议我保存了我的网络......
import os
import sys
from tensorflow.python.saved_model import builder as saved_model_builder
from tensorflow.python.saved_model import utils
from tensorflow.python.saved_model import tag_constants, signature_constants
from tensorflow.python.saved_model.signature_def_utils_impl import build_signature_def, predict_signature_def
from tensorflow.contrib.session_bundle import exporter
with tf.Session() as sess:
# Initialize variables
sess.run(init)
# Restore model weights from previously saved model
saver.restore(sess, model_path)
print("Model restored from file: %s" % save_path)
export_path = '/tmp/AE_model/6'
print('Exporting trained model to', export_path)
builder = tf.saved_model.builder.SavedModelBuilder(export_path)
signature = predict_signature_def(inputs={'inputs': x},
outputs={'outputs': y})
builder.add_meta_graph_and_variables(sess=sess,
tags=[tag_constants.SERVING],
signature_def_map={'predict': signature})
builder.save()
print 'Done exporting!'
接下来我按照 运行 我在 localhost:9000
上的服务器的说明
bazel build //tensorflow_serving/model_servers:tensorflow_model_server
我设置了服务器
bazel-bin/tensorflow_serving/model_servers/tensorflow_model_server --port=9000 --model_base_path=/tmp/AE_model/
问题
现在我想编写一个程序，这样我就可以将 Mat 向量从 eclipse 中的 C++ 程序（我使用很多库）传递到我的服务器，这样我就可以做出某种预测。
我首先想到的是使用inception_client.cc作为参考。但是，似乎我需要 Bazel 来编译它，因为我在任何地方都找不到 prediction_service.grpc.pb.h :(
所以我唯一的选择似乎是使用 python 调用脚本 我得到以下输出：
<grpc.beta._client_adaptations._Rendezvous object at 0x7f9bcf8cb850>
任何解决此问题的帮助将不胜感激。
谢谢。
编辑：
我重新安装了 protobuf 和 grpc 以及 运行 建议的命令：
我的命令有点不同，我不得不在我的服务文件夹之外使用它（在 Ubuntu 14.04）。
sudo protoc -I=serving -I serving/tensorflow --grpc_out=. --plugin=protoc-gen-grpc=`which grpc_cpp_plugin` serving/tensorflow_serving/apis/*.proto
这生成了 .gprc.pb.h 文件，我将它们拖到 /apis/ 文件夹中，错误消失了。现在我得到错误
/tensorflow/third_party/eigen3/unsupported/Eigen/CXX11/Tensor:1:42: fatal error: unsupported/Eigen/CXX11/Tensor: No such file or directory
即使这个文件确实存在。任何建议表示赞赏。
谢谢@subzero！
编辑 2
我能够通过更新到最新的 Eigen 版本并从源代码构建来解决 Eigen 的问题。接下来我指向 /usr/local/include/eigen3/
之后我遇到了 tensorflow 库的问题。我通过使用 lababidi 的建议生成 libtensorflow_cc.so 库来解决这些问题。
https://github.com/tensorflow/tensorflow/issues/2412
我还有最后一期。一切似乎都很好，除了我收到错误：
对`tensorflow::serving::PredictRequest::~PredictRequest()'的未定义引用
看来我缺少链接器或库。有谁知道我错过了什么？？？
您要查找的 pb.h 文件是由 运行 protc 在 this file 上生成的。
您可以按照here描述的说明生成头文件并自己使用。在任何情况下，您 运行 的 Basel 构建都应该在您的构建目录中生成此文件，您可以设置您的 eclipse 项目以使用这些包含路径来编译您的 C 客户端。
它不是 C++，也不是您要找的东西，但我们这里有一个预测客户端，您可以根据需要使用。
https://github.com/epigramai/tfserving_predict_client/
它基于这里的代码，https://github.com/tobegit3hub/tensorflow_template_application，我认为那里可能有一个 C++ 客户端可供使用。
自定义客户端和服务器的示例：
要添加到 tensorflow 模型的服务器代码：
import grpc
from concurrent import futures
import python_pb2
import python_pb2_grpc
class PythonServicer(python_pb2_grpc.PythonServicer):
def makePredictions(self, request, context):
items = eval(str(request.items)) #Receives the input values for the model as a string and evaluates them into an array to be passed to tensorflow
x_feed = items
targetEval_out = sess.run(confidences, feed_dict={x:x_feed}) #"confidences" is the output of my model, replace it for the appropriate function from your model
out = str(targetEval_out.tolist()) #The model output is then put into string format to be passed back to the client. It has to be reformatted on the other end, but this method was easier to implement
return python_pb2.value(name=out)
print("server online")
MAX_MESSAGE_LENGTH = 4 * 1024 * 1024 #can be edited to allow for larger amount of data to be transmitted per message. This can be helpful for making large numbers of predictions at once.
server = grpc.server(futures.ThreadPoolExecutor(max_workers=10),
options=[('grpc.max_send_message_length', MAX_MESSAGE_LENGTH), (
'grpc.max_receive_message_length', MAX_MESSAGE_LENGTH)])
python_pb2_grpc.add_PythonServicer_to_server(
PythonServicer(), server)
server.add_insecure_port('[::]:50051')
server.start()
客户端 C++ 代码：
#include <grpc/grpc.h>
#include <grpc++/channel.h>
#include <grpc++/client_context.h>
#include <grpc++/create_channel.h>
#include <grpc++/security/credentials.h>
#include "python.grpc.pb.h"
using grpc::Channel;
using grpc::ClientContext;
using grpc::ClientReader;
using grpc::ClientReaderWriter;
using grpc::ClientWriter;
using grpc::Status;
using python::request;
using python::value;
using python::Python;
using namespace std;
unsigned MAX_MESSAGE_LENGTH = 4 * 1024 * 1024; //can be edited to allow for larger amount of data to be transmitted per message. This can be helpful for making large numbers of predictions at once.
grpc::ChannelArguments channel_args;
channel_args.SetMaxReceiveMessageSize(MAX_MESSAGE_LENGTH);
channel_args.SetMaxSendMessageSize(MAX_MESSAGE_LENGTH);
shared_ptr<Channel> channel = CreateCustomChannel("localhost:50051", grpc::InsecureChannelCredentials(),channel_args);
unique_ptr<python::Python::Stub>stub = python::Python::NewStub(channel);
request r;
r.set_items(dataInputString); //The input data should be a string that can be parsed to a python array, for example "[[1.0,2.0,3.0],[4.0,5.0,6.0]]"
//The server code was made to be able to make multiple predictions at once, hence the multiple data arrays
value val;
ClientContext context;
Status status = stub->makePredictions(&context, r, &val);
cout << val.name() << "\n"; //This prints the returned model prediction
python.proto代码：
syntax = "proto3";
package python;
service Python {
rpc makePredictions(request) returns (value) {}
}
message request {
string items = 1;
}
message value {
string name = 1;
}
我不确定这些代码片段是否可以独立运行，因为我只是从当前项目中复制了相关代码。但希望这对任何需要 tensorflow 客户端和服务器的人来说都是一个很好的起点。
我正在处理基本的 Tensorflow 服务示例。我正在关注 MNIST 示例，除了我想使用 numpy array 到 predict 另一个 numpy array[= 而不是分类67=].
为此，我首先训练了我的神经网络
x = tf.placeholder("float", [None, n_input],name ="input_values")
weights = {
'encoder_h1': tf.Variable(tf.random_normal([n_input, n_hidden_1])),
'encoder_h2': tf.Variable(tf.random_normal([n_hidden_1, n_hidden_2])),
'encoder_h3': tf.Variable(tf.random_normal([n_hidden_2, n_hidden_3])),
'decoder_h1': tf.Variable(tf.random_normal([n_hidden_3, n_hidden_2])),
'decoder_h2': tf.Variable(tf.random_normal([n_hidden_2, n_hidden_1])),
'decoder_h3': tf.Variable(tf.random_normal([n_hidden_1, n_input])),
}
biases = {
'encoder_b1': tf.Variable(tf.random_normal([n_hidden_1])),
'encoder_b2': tf.Variable(tf.random_normal([n_hidden_2])),
'encoder_b3': tf.Variable(tf.random_normal([n_hidden_3])),
'decoder_b1': tf.Variable(tf.random_normal([n_hidden_2])),
'decoder_b2': tf.Variable(tf.random_normal([n_hidden_1])),
'decoder_b3': tf.Variable(tf.random_normal([n_input])),
}
# Building the encoder
def encoder(x):
# Encoder Hidden layer with sigmoid activation #1
layer_1 = tf.nn.tanh(tf.matmul(x, weights['encoder_h1'])+biases['encoder_b1'])
print(layer_1.shape)
# Decoder Hidden layer with sigmoid activation #2
layer_2 = tf.nn.tanh(tf.matmul(layer_1, weights['encoder_h2'])+biases['encoder_b2'])
print(layer_2.shape)
# Layer 3
layer_3 = tf.nn.tanh(tf.matmul(layer_2, weights['encoder_h3'])+biases['encoder_b3'])
print(layer_3.shape)
return layer_3
# Building the decoder
def decoder(x):
# Encoder Hidden layer with sigmoid activation #1
layer_1 = tf.nn.tanh(tf.matmul(x, weights['decoder_h1'])+biases['decoder_b1'])
print(layer_1.shape)
# Decoder Hidden layer with sigmoid activation #2
layer_2 = tf.nn.tanh(tf.matmul(layer_1, weights['decoder_h2'])+biases['decoder_b2'])
# Layer 3
layer_3 = tf.nn.tanh(tf.matmul(layer_2, weights['decoder_h3'])+biases['decoder_b3'])
return layer_3
# Construct model
encoder_op = encoder(x)
decoder_op = decoder(encoder_op)
# Prediction
y = decoder_op
# Objective functions
y_ = tf.placeholder("float", [None,n_input],name="predict")
接下来按照这里有人的建议我保存了我的网络......
import os
import sys
from tensorflow.python.saved_model import builder as saved_model_builder
from tensorflow.python.saved_model import utils
from tensorflow.python.saved_model import tag_constants, signature_constants
from tensorflow.python.saved_model.signature_def_utils_impl import build_signature_def, predict_signature_def
from tensorflow.contrib.session_bundle import exporter
with tf.Session() as sess:
# Initialize variables
sess.run(init)
# Restore model weights from previously saved model
saver.restore(sess, model_path)
print("Model restored from file: %s" % save_path)
export_path = '/tmp/AE_model/6'
print('Exporting trained model to', export_path)
builder = tf.saved_model.builder.SavedModelBuilder(export_path)
signature = predict_signature_def(inputs={'inputs': x},
outputs={'outputs': y})
builder.add_meta_graph_and_variables(sess=sess,
tags=[tag_constants.SERVING],
signature_def_map={'predict': signature})
builder.save()
print 'Done exporting!'
接下来我按照 运行 我在 localhost:9000
上的服务器的说明bazel build //tensorflow_serving/model_servers:tensorflow_model_server
我设置了服务器
bazel-bin/tensorflow_serving/model_servers/tensorflow_model_server --port=9000 --model_base_path=/tmp/AE_model/
问题
现在我想编写一个程序，这样我就可以将 Mat 向量从 eclipse 中的 C++ 程序（我使用很多库）传递到我的服务器，这样我就可以做出某种预测。
我首先想到的是使用inception_client.cc作为参考。但是，似乎我需要 Bazel 来编译它，因为我在任何地方都找不到 prediction_service.grpc.pb.h :(
所以我唯一的选择似乎是使用 python 调用脚本 我得到以下输出：
<grpc.beta._client_adaptations._Rendezvous object at 0x7f9bcf8cb850>
任何解决此问题的帮助将不胜感激。
谢谢。
编辑：
我重新安装了 protobuf 和 grpc 以及 运行 建议的命令：
我的命令有点不同，我不得不在我的服务文件夹之外使用它（在 Ubuntu 14.04）。
sudo protoc -I=serving -I serving/tensorflow --grpc_out=. --plugin=protoc-gen-grpc=`which grpc_cpp_plugin` serving/tensorflow_serving/apis/*.proto
这生成了 .gprc.pb.h 文件，我将它们拖到 /apis/ 文件夹中，错误消失了。现在我得到错误
/tensorflow/third_party/eigen3/unsupported/Eigen/CXX11/Tensor:1:42: fatal error: unsupported/Eigen/CXX11/Tensor: No such file or directory
即使这个文件确实存在。任何建议表示赞赏。
谢谢@subzero！
编辑 2
我能够通过更新到最新的 Eigen 版本并从源代码构建来解决 Eigen 的问题。接下来我指向 /usr/local/include/eigen3/
之后我遇到了 tensorflow 库的问题。我通过使用 lababidi 的建议生成 libtensorflow_cc.so 库来解决这些问题。 https://github.com/tensorflow/tensorflow/issues/2412
我还有最后一期。一切似乎都很好，除了我收到错误：
对`tensorflow::serving::PredictRequest::~PredictRequest()'的未定义引用
看来我缺少链接器或库。有谁知道我错过了什么？？？
您要查找的 pb.h 文件是由 运行 protc 在 this file 上生成的。
您可以按照here描述的说明生成头文件并自己使用。在任何情况下，您 运行 的 Basel 构建都应该在您的构建目录中生成此文件，您可以设置您的 eclipse 项目以使用这些包含路径来编译您的 C 客户端。
它不是 C++，也不是您要找的东西，但我们这里有一个预测客户端，您可以根据需要使用。
https://github.com/epigramai/tfserving_predict_client/
它基于这里的代码，https://github.com/tobegit3hub/tensorflow_template_application，我认为那里可能有一个 C++ 客户端可供使用。
自定义客户端和服务器的示例：
要添加到 tensorflow 模型的服务器代码：
import grpc
from concurrent import futures
import python_pb2
import python_pb2_grpc
class PythonServicer(python_pb2_grpc.PythonServicer):
def makePredictions(self, request, context):
items = eval(str(request.items)) #Receives the input values for the model as a string and evaluates them into an array to be passed to tensorflow
x_feed = items
targetEval_out = sess.run(confidences, feed_dict={x:x_feed}) #"confidences" is the output of my model, replace it for the appropriate function from your model
out = str(targetEval_out.tolist()) #The model output is then put into string format to be passed back to the client. It has to be reformatted on the other end, but this method was easier to implement
return python_pb2.value(name=out)
print("server online")
MAX_MESSAGE_LENGTH = 4 * 1024 * 1024 #can be edited to allow for larger amount of data to be transmitted per message. This can be helpful for making large numbers of predictions at once.
server = grpc.server(futures.ThreadPoolExecutor(max_workers=10),
options=[('grpc.max_send_message_length', MAX_MESSAGE_LENGTH), (
'grpc.max_receive_message_length', MAX_MESSAGE_LENGTH)])
python_pb2_grpc.add_PythonServicer_to_server(
PythonServicer(), server)
server.add_insecure_port('[::]:50051')
server.start()
客户端 C++ 代码：
#include <grpc/grpc.h>
#include <grpc++/channel.h>
#include <grpc++/client_context.h>
#include <grpc++/create_channel.h>
#include <grpc++/security/credentials.h>
#include "python.grpc.pb.h"
using grpc::Channel;
using grpc::ClientContext;
using grpc::ClientReader;
using grpc::ClientReaderWriter;
using grpc::ClientWriter;
using grpc::Status;
using python::request;
using python::value;
using python::Python;
using namespace std;
unsigned MAX_MESSAGE_LENGTH = 4 * 1024 * 1024; //can be edited to allow for larger amount of data to be transmitted per message. This can be helpful for making large numbers of predictions at once.
grpc::ChannelArguments channel_args;
channel_args.SetMaxReceiveMessageSize(MAX_MESSAGE_LENGTH);
channel_args.SetMaxSendMessageSize(MAX_MESSAGE_LENGTH);
shared_ptr<Channel> channel = CreateCustomChannel("localhost:50051", grpc::InsecureChannelCredentials(),channel_args);
unique_ptr<python::Python::Stub>stub = python::Python::NewStub(channel);
request r;
r.set_items(dataInputString); //The input data should be a string that can be parsed to a python array, for example "[[1.0,2.0,3.0],[4.0,5.0,6.0]]"
//The server code was made to be able to make multiple predictions at once, hence the multiple data arrays
value val;
ClientContext context;
Status status = stub->makePredictions(&context, r, &val);
cout << val.name() << "\n"; //This prints the returned model prediction
python.proto代码：
syntax = "proto3";
package python;
service Python {
rpc makePredictions(request) returns (value) {}
}
message request {
string items = 1;
}
message value {
string name = 1;
}
我不确定这些代码片段是否可以独立运行，因为我只是从当前项目中复制了相关代码。但希望这对任何需要 tensorflow 客户端和服务器的人来说都是一个很好的起点。