直观理解 Adam 优化器

Question

根据Adam的伪代码：

我写了一些代码：

from matplotlib import pyplot as plt
import numpy as np
# np.random.seed(42)
num = 100

x = np.arange(num).tolist()
# The following 3 sets of g_list stand for 3 types of gradient changes:
# g_list = np.random.normal(0,1,num)  # gradient direction changes frequently in positive and negtive 
# g_list = x  # gradient direction always positive and gradient value becomes larger gradually
g_list = [10 for _ in range(num)]  # gradient direction always positive and gradient value always the same

m = 0
v = 0
beta_m = 0.9
beta_v = 0.999
m_list = []
v_list = []

for i in range(1,num+1):
    g = g_list[i-1]
    m = beta_m*m + (1 - beta_m)*g
    m = m/(1-beta_m**i)
    v = beta_v*v + (1 - beta_v)*(g**2)
    v = v/(1-beta_v**i)
    m_list.append(m)
    v_list.append(np.sqrt(v))

mv = np.array(m_list)/(np.array(v_list) +0.001)
print("==>> mv: ", mv)
plt.plot(x, g_list, x, mv)

运行代码，我得到以下情节：

对我来说，我认为这是违反直觉的，因为我认为当梯度方向始终为正且梯度值恒定时，学习率的系数（即mv）应该接近于1，但是我得到的第 100 个 mv 是 3.40488818e-70 几乎接近于零。

如果我更改一些代码：

    # m = m/(1-beta_m**i)
    if i == 1:
      m = m/(1-beta_m**i)
    # v = v/(1-beta_v**i)
    if i == 1:
       v = v/(1-beta_v**i)

我得到的结果是这样的：

这样比较符合我的直觉

有人可以告诉我上面的代码是否正确吗？如果正确，它是否符合您的直觉来获得上面的代码？

Answer 1

您的代码实现就差不多了，但是您应该注意您的实现与算法之间的一个区别是您错误地用变量 m 累加了偏差校正项 m/(1-beta_m**i)。您应该为偏差校正分配一个单独的变量 m_hat。

同样适用于v：将偏差校正值分配给另一个变量，如v_hat。

这样做将避免在 m 和 v 的累加中包含偏差校正。

您的代码可以保持不变，但更改偏差校正值的计算以及列表追加。如果你这样做，你会得到你想要的结果。

for i in range(1,num+1):
    g = g_list[i-1]

    # calculate m and v
    m = beta_m*m + (1 - beta_m)*g
    v = beta_v*v + (1 - beta_v)*(g**2)

    # assign bias corrected values to m_hat and v_hat respectively
    m_hat = m/(1-beta_m**i)
    v_hat = v/(1-beta_v**i)

    # append to lists
    m_list.append(m_hat)
    v_list.append(np.sqrt(v_hat))

直观理解 Adam 优化器

Understand Adam optimizer intuitively

algorithm

tensorflow

pytorch

gradient-descent

openai