pytorch autograd 是如何工作的？
how does the pytorch autograd work?
我将此作为问题提交给 cycleGAN pytorch implementation，但由于那里没有人回复我，我会在这里再次提问。
我主要感到困惑的是，在一次反向传球之前调用了多次正向传球，请参阅以下代码cycle_gan_model
# GAN loss
# D_A(G_A(A))
self.fake_B = self.netG_A.forward(self.real_A)
pred_fake = self.netD_A.forward(self.fake_B)
self.loss_G_A = self.criterionGAN(pred_fake, True)
# D_B(G_B(B))
self.fake_A = self.netG_B.forward(self.real_B)
pred_fake = self.netD_B.forward(self.fake_A)
self.loss_G_B = self.criterionGAN(pred_fake, True)
# Forward cycle loss G_B(G_A(A))
self.rec_A = self.netG_B.forward(self.fake_B)
self.loss_cycle_A = self.criterionCycle(self.rec_A, self.real_A) * lambda_A
# Backward cycle loss G_A(G_B(B))
self.rec_B = self.netG_A.forward(self.fake_A)
self.loss_cycle_B = self.criterionCycle(self.rec_B, self.real_B) * lambda_B
# combined loss
self.loss_G = self.loss_G_A + self.loss_G_B + self.loss_cycle_A + self.loss_cycle_B + self.loss_idt_A + self.loss_idt_B
self.loss_G.backward()
在我看来，G_A 和 G_B 每个都有三个前向传递，两次接受真实数据（real_A 或 real_B），两次接受假数据数据（fake_B 或 fake_A）。
在 tensorflow 中（我认为）向后传递总是计算 w.r.t 最后的输入数据。在这种情况下，loss_G 的反向传播是错误的。相反，应该进行三次向后传球，每次都紧随其涉及的向前传球。
具体来说，netG_A 从 loss_G_A 的梯度是 w.r.t real_A 但它从 loss_cycle_B 的梯度是 w.r.t fake_A.
我假设这在 pytorch 中得到了某种处理。但是模型如何知道 w.r.t 它应该计算梯度的输入数据？
Pytorch 使用基于磁带的系统进行自动微分。这意味着它将从它所做的最后一个操作反向传播。我认为最好的理解方式是根据流程制作图表。我附上一张我亲手做的
现在您会看到一些模块是"repeated"。我对它们的看法与我对 RNN 的看法相同；这样，渐变将被添加。
我将此作为问题提交给 cycleGAN pytorch implementation，但由于那里没有人回复我，我会在这里再次提问。
我主要感到困惑的是，在一次反向传球之前调用了多次正向传球，请参阅以下代码cycle_gan_model
# GAN loss
# D_A(G_A(A))
self.fake_B = self.netG_A.forward(self.real_A)
pred_fake = self.netD_A.forward(self.fake_B)
self.loss_G_A = self.criterionGAN(pred_fake, True)
# D_B(G_B(B))
self.fake_A = self.netG_B.forward(self.real_B)
pred_fake = self.netD_B.forward(self.fake_A)
self.loss_G_B = self.criterionGAN(pred_fake, True)
# Forward cycle loss G_B(G_A(A))
self.rec_A = self.netG_B.forward(self.fake_B)
self.loss_cycle_A = self.criterionCycle(self.rec_A, self.real_A) * lambda_A
# Backward cycle loss G_A(G_B(B))
self.rec_B = self.netG_A.forward(self.fake_A)
self.loss_cycle_B = self.criterionCycle(self.rec_B, self.real_B) * lambda_B
# combined loss
self.loss_G = self.loss_G_A + self.loss_G_B + self.loss_cycle_A + self.loss_cycle_B + self.loss_idt_A + self.loss_idt_B
self.loss_G.backward()
在我看来，G_A 和 G_B 每个都有三个前向传递，两次接受真实数据（real_A 或 real_B），两次接受假数据数据（fake_B 或 fake_A）。
在 tensorflow 中（我认为）向后传递总是计算 w.r.t 最后的输入数据。在这种情况下，loss_G 的反向传播是错误的。相反，应该进行三次向后传球，每次都紧随其涉及的向前传球。
具体来说，netG_A 从 loss_G_A 的梯度是 w.r.t real_A 但它从 loss_cycle_B 的梯度是 w.r.t fake_A.
我假设这在 pytorch 中得到了某种处理。但是模型如何知道 w.r.t 它应该计算梯度的输入数据？
Pytorch 使用基于磁带的系统进行自动微分。这意味着它将从它所做的最后一个操作反向传播。我认为最好的理解方式是根据流程制作图表。我附上一张我亲手做的
现在您会看到一些模块是"repeated"。我对它们的看法与我对 RNN 的看法相同；这样，渐变将被添加。