如何在 python 中实现小批量梯度下降?
How to implement mini-batch gradient descent in python?
刚开始学习深度学习。当谈到梯度下降时,我发现自己陷入了困境。我知道如何实现批量梯度下降。我知道它是如何工作的,也知道小批量和随机梯度下降在理论上是如何工作的。但是实在看不懂怎么用代码实现。
import numpy as np
X = np.array([ [0,0,1],[0,1,1],[1,0,1],[1,1,1] ])
y = np.array([[0,1,1,0]]).T
alpha,hidden_dim = (0.5,4)
synapse_0 = 2*np.random.random((3,hidden_dim)) - 1
synapse_1 = 2*np.random.random((hidden_dim,1)) - 1
for j in xrange(60000):
layer_1 = 1/(1+np.exp(-(np.dot(X,synapse_0))))
layer_2 = 1/(1+np.exp(-(np.dot(layer_1,synapse_1))))
layer_2_delta = (layer_2 - y)*(layer_2*(1-layer_2))
layer_1_delta = layer_2_delta.dot(synapse_1.T) * (layer_1 * (1-layer_1))
synapse_1 -= (alpha * layer_1.T.dot(layer_2_delta))
synapse_0 -= (alpha * X.T.dot(layer_1_delta))
这是来自 ANDREW TRASK 博客的示例代码。它很小而且很容易理解。此代码实现批量梯度下降,但我想在此示例中实现小批量和随机梯度下降。我怎么能这样做?为了分别实现小批量和随机梯度下降,我必须在这段代码中 add/modify 做什么?你的帮助会对我有很大帮助。提前致谢。(我知道此示例代码示例很少,而我需要将大型数据集拆分为小批量。但我想知道如何实现它)
此函数 returns 给定输入和目标的小批量:
def iterate_minibatches(inputs, targets, batchsize, shuffle=False):
assert inputs.shape[0] == targets.shape[0]
if shuffle:
indices = np.arange(inputs.shape[0])
np.random.shuffle(indices)
for start_idx in range(0, inputs.shape[0] - batchsize + 1, batchsize):
if shuffle:
excerpt = indices[start_idx:start_idx + batchsize]
else:
excerpt = slice(start_idx, start_idx + batchsize)
yield inputs[excerpt], targets[excerpt]
这会告诉您如何使用它进行训练:
for n in xrange(n_epochs):
for batch in iterate_minibatches(X, Y, batch_size, shuffle=True):
x_batch, y_batch = batch
l_train, acc_train = f_train(x_batch, y_batch)
l_val, acc_val = f_val(Xt, Yt)
logging.info('epoch ' + str(n) + ' ,train_loss ' + str(l_train) + ' ,acc ' + str(acc_train) + ' ,val_loss ' + str(l_val) + ' ,acc ' + str(acc_val))
显然,您需要根据您正在使用的优化库(例如 Lasagne、Keras)自行定义 f_train、f_val 和其他函数。
以下函数 returns(产生)小批量。它基于 Ash 提供的功能,但正确处理了最后一个 minibatch。
def iterate_minibatches(inputs, targets, batchsize, shuffle=False):
assert inputs.shape[0] == targets.shape[0]
if shuffle:
indices = np.arange(inputs.shape[0])
np.random.shuffle(indices)
for start_idx in range(0, inputs.shape[0], batchsize):
end_idx = min(start_idx + batchsize, inputs.shape[0])
if shuffle:
excerpt = indices[start_idx:end_idx]
else:
excerpt = slice(start_idx, end_idx)
yield inputs[excerpt], targets[excerpt]
刚开始学习深度学习。当谈到梯度下降时,我发现自己陷入了困境。我知道如何实现批量梯度下降。我知道它是如何工作的,也知道小批量和随机梯度下降在理论上是如何工作的。但是实在看不懂怎么用代码实现。
import numpy as np
X = np.array([ [0,0,1],[0,1,1],[1,0,1],[1,1,1] ])
y = np.array([[0,1,1,0]]).T
alpha,hidden_dim = (0.5,4)
synapse_0 = 2*np.random.random((3,hidden_dim)) - 1
synapse_1 = 2*np.random.random((hidden_dim,1)) - 1
for j in xrange(60000):
layer_1 = 1/(1+np.exp(-(np.dot(X,synapse_0))))
layer_2 = 1/(1+np.exp(-(np.dot(layer_1,synapse_1))))
layer_2_delta = (layer_2 - y)*(layer_2*(1-layer_2))
layer_1_delta = layer_2_delta.dot(synapse_1.T) * (layer_1 * (1-layer_1))
synapse_1 -= (alpha * layer_1.T.dot(layer_2_delta))
synapse_0 -= (alpha * X.T.dot(layer_1_delta))
这是来自 ANDREW TRASK 博客的示例代码。它很小而且很容易理解。此代码实现批量梯度下降,但我想在此示例中实现小批量和随机梯度下降。我怎么能这样做?为了分别实现小批量和随机梯度下降,我必须在这段代码中 add/modify 做什么?你的帮助会对我有很大帮助。提前致谢。(我知道此示例代码示例很少,而我需要将大型数据集拆分为小批量。但我想知道如何实现它)
此函数 returns 给定输入和目标的小批量:
def iterate_minibatches(inputs, targets, batchsize, shuffle=False):
assert inputs.shape[0] == targets.shape[0]
if shuffle:
indices = np.arange(inputs.shape[0])
np.random.shuffle(indices)
for start_idx in range(0, inputs.shape[0] - batchsize + 1, batchsize):
if shuffle:
excerpt = indices[start_idx:start_idx + batchsize]
else:
excerpt = slice(start_idx, start_idx + batchsize)
yield inputs[excerpt], targets[excerpt]
这会告诉您如何使用它进行训练:
for n in xrange(n_epochs):
for batch in iterate_minibatches(X, Y, batch_size, shuffle=True):
x_batch, y_batch = batch
l_train, acc_train = f_train(x_batch, y_batch)
l_val, acc_val = f_val(Xt, Yt)
logging.info('epoch ' + str(n) + ' ,train_loss ' + str(l_train) + ' ,acc ' + str(acc_train) + ' ,val_loss ' + str(l_val) + ' ,acc ' + str(acc_val))
显然,您需要根据您正在使用的优化库(例如 Lasagne、Keras)自行定义 f_train、f_val 和其他函数。
以下函数 returns(产生)小批量。它基于 Ash 提供的功能,但正确处理了最后一个 minibatch。
def iterate_minibatches(inputs, targets, batchsize, shuffle=False):
assert inputs.shape[0] == targets.shape[0]
if shuffle:
indices = np.arange(inputs.shape[0])
np.random.shuffle(indices)
for start_idx in range(0, inputs.shape[0], batchsize):
end_idx = min(start_idx + batchsize, inputs.shape[0])
if shuffle:
excerpt = indices[start_idx:end_idx]
else:
excerpt = slice(start_idx, end_idx)
yield inputs[excerpt], targets[excerpt]