autograd 能否处理在计算图的相同深度重复使用同一层?
Can autograd handle repeated use of the same layer in the same depth of the computation graph?
我有一个网络,其工作方式如下:输入分成两半;前半部分通过一些卷积层l1
,然后下半部分通过相同的层l1
(在计算了输入的前半部分的输出之后),然后两个输出表示被连接起来并立即通过附加层l2
。现在我的问题(类似于 但与另一个问题中的设置不完全相同,同一层在计算图的不同深度重复使用,而在这里,同一层在同一深度内使用两次)是:autograd 是否正确处理了这个问题? IE。是 l1
的反向传播误差,根据其前向传播和权重进行调整 w.r.t。两者同时进行?
Autograd 不关心你“使用”了多少次。这不是它的工作原理。它只是在依赖关系的幕后构建一个图形,两次使用某些东西只会生成一个不是直线的图形,但不会影响其执行。
我有一个网络,其工作方式如下:输入分成两半;前半部分通过一些卷积层l1
,然后下半部分通过相同的层l1
(在计算了输入的前半部分的输出之后),然后两个输出表示被连接起来并立即通过附加层l2
。现在我的问题(类似于 l1
的反向传播误差,根据其前向传播和权重进行调整 w.r.t。两者同时进行?
Autograd 不关心你“使用”了多少次。这不是它的工作原理。它只是在依赖关系的幕后构建一个图形,两次使用某些东西只会生成一个不是直线的图形,但不会影响其执行。