使用 ClassNLLCriterion 在 Torch 中进行批处理

Question

我正在尝试在 Torch 中实现一个简单的神经网络以了解更多相关信息。我创建了一个非常简单的数据集：从 0 到 15 的二进制数，我的目标是 class 将数字分成两个 classes - class 1 是数字 0-3 和 12-15 , class 2个是剩下的。以下代码是我现在的代码（我只删除了数据加载例程）：

require 'torch'
require 'nn'

data = torch.Tensor( 16, 4 )
class = torch.Tensor( 16, 1 )

network = nn.Sequential()

network:add( nn.Linear( 4, 8 ) )
network:add( nn.ReLU() )
network:add( nn.Linear( 8, 2 ) )
network:add( nn.LogSoftMax() )

criterion = nn.ClassNLLCriterion()

for i = 1, 300 do
        prediction = network:forward( data )

        --print( "prediction: " .. tostring( prediction ) )
        --print( "class: " .. tostring( class ) )

        loss = criterion:forward( prediction, class )

        network:zeroGradParameters()

        grad = criterion:backward( prediction, class )
        network:backward( data, grad )

        network:updateParameters( 0.1 )
end

这是数据和 class 张量的样子：

 0  0  0  0
 0  0  0  1
 0  0  1  0
 0  0  1  1
 0  1  0  0
 0  1  0  1
 0  1  1  0
 0  1  1  1
 1  0  0  0
 1  0  0  1
 1  0  1  0
 1  0  1  1
 1  1  0  0
 1  1  0  1
 1  1  1  0
 1  1  1  1
[torch.DoubleTensor of size 16x4]

 2
 2
 2
 2
 1
 1
 1
 1
 1
 1
 1
 1
 2
 2
 2
 2
[torch.DoubleTensor of size 16x1]

这正是我所期望的。但是，当运行这段代码时，我在行 loss = criterion:forward( prediction, class ):

上收到以下错误

torch/install/share/lua/5.1/nn/ClassNLLCriterion.lua:69: attempt to perform arithmetic on a nil value

当我像这样修改训练例程（一次处理一个数据点，而不是一批处理所有 16 个数据点）时，它起作用了，网络成功地学会了识别两个 classes:

for k = 1, 300 do
for i = 1, 16 do
        prediction = network:forward( data[i] )

        --print( "prediction: " .. tostring( prediction ) )
        --print( "class: " .. tostring( class ) )

        loss = criterion:forward( prediction, class[i] )

        network:zeroGradParameters()

        grad = criterion:backward( prediction, class[i] )
        network:backward( data[i], grad )

        network:updateParameters( 0.1 )
end
end

我不确定我正在尝试做的 "batch processing" 可能有什么问题。简单看一下 ClassNLLCriterion 没有帮助，似乎我给了它预期的输入（见下文），但它仍然失败。它接收的输入（预测和 class 张量）如下所示：

-0.9008 -0.5213
-0.8591 -0.5508
-0.9107 -0.5146
-0.8002 -0.5965
-0.9244 -0.5055
-0.8581 -0.5516
-0.9174 -0.5101
-0.8040 -0.5934
-0.9509 -0.4884
-0.8409 -0.5644
-0.8922 -0.5272
-0.7737 -0.6186
-0.9422 -0.4939
-0.8405 -0.5648
-0.9012 -0.5210
-0.7820 -0.6116
[torch.DoubleTensor of size 16x2]

 2
 2
 2
 2
 1
 1
 1
 1
 1
 1
 1
 1
 2
 2
 2
 2
[torch.DoubleTensor of size 16x1]

有人可以帮我吗？谢谢。

Answer 1

经验表明，nn.ClassNLLCriterion 期望目标是大小为 batch_size 的 1D 张量 或标量.您的 class 是二维的 (batch_size x 1) 但 class[i] 是一维的，这就是您的非批处理版本有效的原因。

所以，这将解决您的问题：

class = class:view(-1)

或者，您可以替换

network:add( nn.LogSoftMax() )
criterion = nn.ClassNLLCriterion()

相当于：

criterion = nn.CrossEntropyCriterion()

有趣的是，nn.CrossEntropyCriterion 也可以使用 2D 张量 。为什么 nn.ClassNLLCriterion 不是？

使用 ClassNLLCriterion 在 Torch 中进行批处理

Batch processing in Torch with ClassNLLCriterion

lua

batch-processing

neural-network

torch