为什么在神经网络 class 定义中使用多个 ReLU 对象？

Question

最近我观察到，在定义神经网络时，我们多次为每一层定义单独的 ReLU 对象。为什么我们不能在需要的地方使用相同的 ReLU 对象。

例如而不是这样写-

def __init__(self):
    self.fc1     = nn.Linear(784, 500)
    self.ReLU_1  = nn.ReLU()
    self.fc2     = nn.Linear(500, 300)
    self.ReLU_2  = nn.ReLU()
    
def forward(x):
    x = self.fc1(x)
    x = self.ReLU_1(x)
    x = self.fc2(x)
    x = self.ReLU_2(x)

为什么我们不能使用

def __init__(self):
    self.fc1    = nn.Linear(784, 500)
    self.ReLU   = nn.ReLU()
    self.fc2    = nn.Linear(500, 300)
    
def forward(x):
    x = self.fc1(x)
    x = self.ReLU(x)
    x = self.fc2(x)
    x = self.ReLU(x)

这是 PyTorch 特有的东西吗？

Answer 1

我们可以做到。第一个变体只是为了清楚起见。

为什么在神经网络 class 定义中使用多个 ReLU 对象？

Why use multiple ReLU objects in Neural Net class definition?

neural-network

pytorch

relu