通过 gModule 向后火炬

Question

我有如下图表，其中输入 x 有两条路径到达 y。它们与使用 cMulTable 的 gModule 相结合。现在，如果我执行 gModule:backward(x,y)，我会得到两个值的 table。它们是否对应于从两条路径导出的误差导数？

但是由于 path2 包含其他 nn 层，我想我需要逐步推导这条路径中的导数。但是为什么我得到 dy/dx 的两个值的 table？

为了让事情更清楚，测试代码如下：

input1 = nn.Identity()()
input2 = nn.Identity()()
score = nn.CAddTable()({nn.Linear(3, 5)(input1),nn.Linear(3, 5)(input2)})
g = nn.gModule({input1, input2}, {score})  #gModule

mlp = nn.Linear(3,3) #path2 layer

x = torch.rand(3,3)
x_p = mlp:forward(x)
result = g:forward({x,x_p})
error = torch.rand(result:size())
gradient1 = g:backward(x, error)  #this is a table of 2 tensors
gradient2 = g:backward(x_p, error)  #this is also  a table of 2 tensors

那么我的步骤有什么问题吗？

P.S，也许我找到原因了，因为g:backward({x,x_p}, error) 结果相同table。所以我猜这两个值分别代表 dy/dx 和 dy/dx_p。

Answer 1

我认为您只是在构建 gModule 时犯了一个错误。每个 nn.Module 中的 gradInput 必须与其 input 具有完全相同的结构 - 这就是反向传播的工作方式。

下面是一个示例，说明如何使用 nngraph:

创建像您这样的模块

require 'torch'
require 'nn'
require 'nngraph'

function CreateModule(input_size)
    local input = nn.Identity()()   -- network input

    local nn_module_1 = nn.Linear(input_size, 100)(input)
    local nn_module_2 = nn.Linear(100, input_size)(nn_module_1)

    local output = nn.CMulTable()({input, nn_module_2})

    -- pack a graph into a convenient module with standard API (:forward(), :backward())
    return nn.gModule({input}, {output})
end


input = torch.rand(30)

my_module = CreateModule(input:size(1))

output = my_module:forward(input)
criterion_err = torch.rand(output:size())

gradInput = my_module:backward(input, criterion_err)
print(gradInput)

更新

正如我所说，每个 nn.Module 中的 gradInput 必须具有与其 input 完全相同的结构。因此，如果您将模块定义为 nn.gModule({input1, input2}, {score})，您的 gradOutput（向后传递的结果）将是 table 的梯度 w.r.t。 input1 和 input2，在您的情况下是 x 和 x_p。

唯一的问题仍然存在：为什么你在调用时不会收到错误消息：

gradient1 = g:backward(x, error) 
gradient2 = g:backward(x_p, error)

必须引发异常，因为第一个参数不能是张量，而是两个张量的 table。好吧，大多数（也许是全部）火炬模块在计算 :backward(input, gradOutput) 期间不使用 input 参数（它们通常存储上次 :forward(input) 调用的 input 的副本）。事实上，这个论点是如此无用，以至于模块甚至都懒得去验证它。

通过 gModule 向后火炬

torch backward through gModule

lua

neural-network

torch

backpropagation