在 TFServing 中进行批处理时启用可变长度输入填充

Question

以下原型定义包含标志 (pad_variable_length_inputs) 的详细信息，可以启用该标志来填充请求。

https://github.com/tensorflow/serving/blob/1f8f2902b6465f239bb58af2b3fb27ba73b5c7c5/tensorflow_serving/servables/tensorflow/session_bundle_config.proto

我当前的批处理配置文件如下所示：

max_batch_size { value: 300 }
batch_timeout_micros { value: 0 }
max_enqueued_batches { value: 1000000 }
num_batch_threads { value: 8 }

我想知道如何通过配置设置 pad_variable_length_inputs。

Answer 1

我终于明白了。这是可以做到的：

max_batch_size { value: 300 }
batch_timeout_micros { value: 0 }
max_enqueued_batches { value: 1000000 }
num_batch_threads { value: 8 }
pad_variable_length_inputs: true

在 TFServing 中进行批处理时启用可变长度输入填充

Enabling variable length input padding while batching in TFServing

tensorflow

tensorflow-serving