带有 CTC 层的 TensorRT
TensorRT with CTC layers
我想使用 tensorRT 优化我的模型，但是我的模型中的 CTC 层不受 tensorRT 支持。有人成功地使用 tensorRT 优化了 CTC 层。
我分两步做到了这一点，首先使用 TensorRT 获取概率 logits，然后使用 C++ CTC 解码器对 logits 进行解码。
由于 CTC 的解码适用于 CPU，而且我设法使用 GPU 来获取 logit 的批次并将每批 logit 排入 CPU CTC 解码队列，而GPU 为 运行ning。所以这样一来，CPU和GPU就可以运行并行了。 CTC 解码器的 C++ 实现可以在 Github 或 Tensorflow 存储库中找到。
我想使用 tensorRT 优化我的模型，但是我的模型中的 CTC 层不受 tensorRT 支持。有人成功地使用 tensorRT 优化了 CTC 层。
我分两步做到了这一点，首先使用 TensorRT 获取概率 logits，然后使用 C++ CTC 解码器对 logits 进行解码。
由于 CTC 的解码适用于 CPU，而且我设法使用 GPU 来获取 logit 的批次并将每批 logit 排入 CPU CTC 解码队列，而GPU 为 运行ning。所以这样一来，CPU和GPU就可以运行并行了。 CTC 解码器的 C++ 实现可以在 Github 或 Tensorflow 存储库中找到。