在 MXnet 中使用自定义迭代器时如何预测测试集的标签？

Question

我有一个大数据集（大约 20GB 用于训练，2GB 用于测试），我想使用 MXnet 和 R。由于内存不足，我搜索了一个迭代器来加载自定义的训练和测试集迭代器，我找到了 this 解决方案。

现在，我可以使用此页面上的代码训练模型，但问题是如果我使用保存迭代器读取测试集，如下所示：

test.iter <- CustomCSVIter$new(iter = NULL, data.csv = "test.csv", data.shape = 480, batch.size = batch.size)

然后，预测命令不起作用，page;

中没有预测模板

preds <- predict(model, test.iter)

所以，我的具体问题是，如果我使用页面上的代码构建我的模型，我如何读取我的测试集并预测其用于评估过程的标签？我的测试集和训练集在 this format.

感谢您的帮助

Answer 1

它实际上和你解释的完全一样。您只需使用模型和迭代器调用预测：

preds = predict(model, test.iter)

这里唯一的技巧是预测按列显示。我的意思是，如果您使用整个 sample you are referring to，执行它并添加以下行：

test.iter <- CustomCSVIter$new(iter = NULL, data.csv = "mnist_train.csv", data.shape = 28, batch.size = batch.size)
preds = predict(model, test.iter)

preds[,1] # index of the sample to see in the column position

您收到：

 [1] 5.882561e-11 2.826923e-11 7.873914e-11 2.760162e-04 1.221306e-12 9.997239e-01 4.567645e-11 3.177564e-08 1.763889e-07 3.578671e-09

这显示了训练集第一个元素的 softmax 输出。如果您尝试通过只写 preds 来打印所有内容，那么您将只能看到空值，因为 RStudio 打印限制为 1000 - 真实数据将没有机会出现。

请注意，我重复使用训练数据进行预测。我这样做是因为我不想调整迭代器的代码，它需要能够使用前面有和没有标签的数据（训练和测试集）。在实际场景中，您需要调整迭代器，以便它可以在有和没有标签的情况下工作。

在 MXnet 中使用自定义迭代器时如何预测测试集的标签？

How to predict the labels for the test set when using a custom Iterator in MXnet?

r

image-processing

deep-learning

mxnet