TensorRT 是如何处理数据的?
How TensorRT process data?
在Tensorflow中,Tensor格式为NxWxHxC,通过网络。
当Tensorflow模型转换为TensorRT引擎时,Tensor数据是如何处理的。
与 Thensoflow 中的形状相同或扁平化。
扁平化的意思,比如1x3x4x3张量
[[[1,2,3],[4,5,6],[7,8,9],[10,11,12]],
[[1,2,3],[4,5,6],[7,8,9],[10,11,12]],
[[1,2,3],[4,5,6],[7,8,9],[10,11,12]]]
被压平成
[1,2,3,4,5,6,7,8,9,10,11,12,1,2,3,4,5,6,7,8,9,10,11,12,1,2,3,4,5,6,7,8,9,10,11,12]
单个数组并已处理。
TensorRT 以 NCHW 格式处理数据。当数据被扁平化时,它是 NCHW 格式。这意味着,数据被展平为
1,4,7,10,1,4,7,10,1,4,7,10,2,5,8,11,2,5,8,11,2,5,8,11,3,6,9,12,3,6,9,12,3,6,9,12
在Tensorflow中,Tensor格式为NxWxHxC,通过网络。
当Tensorflow模型转换为TensorRT引擎时,Tensor数据是如何处理的。 与 Thensoflow 中的形状相同或扁平化。
扁平化的意思,比如1x3x4x3张量
[[[1,2,3],[4,5,6],[7,8,9],[10,11,12]],
[[1,2,3],[4,5,6],[7,8,9],[10,11,12]],
[[1,2,3],[4,5,6],[7,8,9],[10,11,12]]]
被压平成
[1,2,3,4,5,6,7,8,9,10,11,12,1,2,3,4,5,6,7,8,9,10,11,12,1,2,3,4,5,6,7,8,9,10,11,12]
单个数组并已处理。
TensorRT 以 NCHW 格式处理数据。当数据被扁平化时,它是 NCHW 格式。这意味着,数据被展平为
1,4,7,10,1,4,7,10,1,4,7,10,2,5,8,11,2,5,8,11,2,5,8,11,3,6,9,12,3,6,9,12,3,6,9,12