如何为具有未知组件的形状创建 TensorFloat？

Question

我按照 this 示例将输入和输出绑定到 ONNX 模型。

// I can bind this shape fine since it has all known components:
std::vector<int64_t> shape({ 1, 1000, 1, 1 });
binding.Bind(L"softmaxout_1", TensorFloat::Create(shape));

但是我自己的模型有一个包含未知组件的输入：

// This is the type shows in Netron: float32[unk__518,224,224,3], I tried:
std::vector<int64_t> shape({ "unk__518", 224, 224, 3 }); // Note: this doesn't compile since the first component is a string!
binding.Bind(L"Image:0", TensorFloat::Create(shape));

如何为这样的形状创建 TensorFloat 并绑定它？

Answer 1

在创建将与使用自由维度定义的模型输入特征（即：“unk_518”）结合使用的张量时，您需要指定实际的具体张量的维数。

在您的情况下，您似乎正在使用 SqeezeNet。 SqueezeNet 的第一个参数对应于输入的批量维度，因此指的是您希望绑定和运行推理的图像数量。

将“unk_518”替换为您希望运行推理的批量大小：

int64_t batch_size = 1;
std::vector<int64_t> shape({ batch_size, 224, 224, 3 }); // Note: this doesn't compile since the first component is a string!
binding.Bind(L"Image:0", TensorFloat::Create(shape));

您可以看到，对于自由维度，Windows ML 验证将允许任何维度，因为这就是“自由”维度的含义：https://github.com/microsoft/onnxruntime/blob/f352d54743df1769de54d33264fcb7a2a469974d/winml/lib/Api/impl/FeatureCompatibility.h#L253

如何为具有未知组件的形状创建 TensorFloat？

How to create a TensorFloat for a shape that has unknown component?

windows-machine-learning