TensorRT 是如何处理数据的?

How TensorRT process data?

在Tensorflow中,Tensor格式为NxWxHxC,通过网络。

当Tensorflow模型转换为TensorRT引擎时,Tensor数据是如何处理的。 与 Thensoflow 中的形状相同或扁平化。

扁平化的意思,比如1x3x4x3张量

[[[1,2,3],[4,5,6],[7,8,9],[10,11,12]],
     [[1,2,3],[4,5,6],[7,8,9],[10,11,12]],
     [[1,2,3],[4,5,6],[7,8,9],[10,11,12]]]

被压平成

[1,2,3,4,5,6,7,8,9,10,11,12,1,2,3,4,5,6,7,8,9,10,11,12,1,2,3,4,5,6,7,8,9,10,11,12]

单个数组并已处理。

TensorRT 以 NCHW 格式处理数据。当数据被扁平化时,它是 NCHW 格式。这意味着,数据被展平为

1,4,7,10,1,4,7,10,1,4,7,10,2,5,8,11,2,5,8,11,2,5,8,11,3,6,9,12,3,6,9,12,3,6,9,12