ICudaEngine.serialize() 呼叫生成实际上是什么？

Question

我想知道 TensorRT 家伙的名字 "engine" 到底是什么。我想知道这一点，因为我不确定我是否能够使用相同的引擎来推断不同 GPU 的真实架构。

我知道有一种代码可以执行神经网络推理步骤。我想弄清楚它是否包含 cuda PTX 代码（一种由 CUDA JIT 解释的字节码）或者它可能是为给定 GPU 架构编译的实际二进制文件。

我希望它是一种可移植的字节码。 你有什么线索吗？

非常感谢！

Answer 1

I want to know this because I am not sure if I will be able to use the same engine to infer on top of different GPUs real architectures

创建的 TensorRT 模型根据构建它们的 GPU 架构进行了优化。因此，基于一种 GPU 架构构建的引擎不应该用于不同的架构。