使用 pylearn2 创建单层神经网络

Question

Pylearn2 通常被建议作为神经网络的 python 资源。

我想创建一个单隐藏层神经网络并使用反向传播算法对其进行训练。

这应该是一些基本的东西，但我不明白如何用 pylearn2 做到这一点。我在多层感知器上找到了这个教程，但尽管如此我还是迷路了。 (http://nbviewer.ipython.org/github/lisa-lab/pylearn2/blob/master/pylearn2/scripts/tutorials/multilayer_perceptron/multilayer_perceptron.ipynb)

n = 200
p = 20
X = np.random.normal(0, 1, (n, p))
y = X[:,0]* X[:, 1] + np.random.normal(0, .1, n)

我想创建一个具有 40 个隐藏节点和一个 sigmoid 激活函数的单层神经网络。

有人可以帮助我吗？

编辑：

我已经能够编写此代码，但它仍然无法正常工作

ds = DenseDesignMatrix(X=X, y=y)

hidden_layer = mlp.Sigmoid(layer_name='hidden', dim=10, irange=.1, init_bias=1.)
output_layer = mlp.Linear(1, 'output', irange=.1)
trainer = sgd.SGD(learning_rate=.05, batch_size=10, 
                  termination_criterion=EpochCounter(200))

layers = [hidden_layer, output_layer]
ann = mlp.MLP(layers, nvis=1)
trainer.setup(ann, ds)

while True:
    trainer.train(dataset=ds)
    ann.monitor.report_epoch()
    ann.monitor()
    if not trainer.continue_learning(ann):
        break

Answer 1

pylearn2 可以通过实例化对象并像往常一样使用它们来使用，也可以通过配置 Yaml 文件定义网络拓扑和参数并让 pylearn2 处理其余部分。了解事物如何工作的一个好方法是查看 pylearn2/scripts/train.py 以查看执行的操作。此外，在 pylearn2/train.py（我猜是不幸的名称选择）中，您会发现 "train object" 包含有关培训的所有信息。基本上，当您使用配置文件时，yaml 解析器将使用配置文件中的信息构建一个训练对象，然后开始训练。 pylearn2/scripts/papers里面有一堆例子，你想看的话可以看看。

我还建议您阅读这篇文章以更好地理解 pylearn2 的工作原理：Your models in Pylearn2

最后，您可能还想查看 Blocks，这是一个新的神经网络框架，由与 pylearn2 相同的实验室开发。它的开发非常活跃，功能比 pylearn2 少，但如果您对 Theano 有所了解，您可能会更喜欢它。

Answer 2

这是我目前的解决方案：

n = 200
p = 2
X = np.random.normal(0, 1, (n, p))
y = X[:,0]* X[:, 1] + np.random.normal(0, .1, n)
y.shape = (n, 1)

ds = DenseDesignMatrix(X=X, y=y)


hidden_layer = mlp.Sigmoid(layer_name='hidden', dim=10, irange=.1, init_bias=1.)
output_layer = mlp.Linear(dim=1, layer_name='y', irange=.1)
trainer = sgd.SGD(learning_rate=.05, batch_size=10, 
                  termination_criterion=EpochCounter(200))
layers = [hidden_layer, output_layer]
ann = mlp.MLP(layers, nvis=2)
trainer.setup(ann, ds)

while True:
    trainer.train(dataset=ds)
    ann.monitor.report_epoch()
    ann.monitor()
    if not trainer.continue_learning(ann):
        break

inputs = X 
y_est = ann.fprop(theano.shared(inputs, name='inputs')).eval()

使用 pylearn2 创建单层神经网络

create a single layer neural network with pylearn2

python

machine-learning

neural-network

pylearn