使用 PyBrain 神经网络预测时间序列数据
Forecasting time series data with PyBrain Neural Networks
问题
我正在尝试使用 5 年的连续历史数据来预测下一年的值。
数据结构
我的输入数据 input_04_08 看起来像这样，其中第一列是一年中的第几天（1 到 365），第二列是记录的输入。
1,2
2,2
3,0
4,0
5,0
我的输出数据 output_04_08 看起来像这样，单列包含一年中那一天的记录输出。
27.6
28.9
0
0
0
然后我将 0 和 1 之间的值归一化，因此提供给网络的第一个样本看起来像
Number of training patterns: 1825
Input and output dimensions: 2 1
First sample (input, target):
[ 0.00273973 0.04 ] [ 0.02185273]
方法
前馈网络
我已经在 PyBrain 中实现了以下代码
input_04_08 = numpy.loadtxt('./data/input_04_08.csv', delimiter=',')
input_09 = numpy.loadtxt('./data/input_09.csv', delimiter=',')
output_04_08 = numpy.loadtxt('./data/output_04_08.csv', delimiter=',')
output_09 = numpy.loadtxt('./data/output_09.csv', delimiter=',')
input_04_08 = input_04_08 / input_04_08.max(axis=0)
input_09 = input_09 / input_09.max(axis=0)
output_04_08 = output_04_08 / output_04_08.max(axis=0)
output_09 = output_09 / output_09.max(axis=0)
ds = SupervisedDataSet(2, 1)
for x in range(0, 1825):
ds.addSample(input_04_08[x], output_04_08[x])
n = FeedForwardNetwork()
inLayer = LinearLayer(2)
hiddenLayer = TanhLayer(25)
outLayer = LinearLayer(1)
n.addInputModule(inLayer)
n.addModule(hiddenLayer)
n.addOutputModule(outLayer)
in_to_hidden = FullConnection(inLayer, hiddenLayer)
hidden_to_out = FullConnection(hiddenLayer, outLayer)
n.addConnection(in_to_hidden)
n.addConnection(hidden_to_out)
n.sortModules()
trainer = BackpropTrainer(n, ds, learningrate=0.01, momentum=0.1)
for epoch in range(0, 100000000):
if epoch % 10000000 == 0:
error = trainer.train()
print 'Epoch: ', epoch
print 'Error: ', error
result = numpy.array([n.activate(x) for x in input_09])
这给了我以下结果，最终错误为 0.00153840123381
不可否认，这看起来不错。然而，在阅读了更多有关 LSTM（长短期记忆）神经网络的信息以及对时间序列数据的适用性后，我正在尝试构建一个。
LSTM 网络
下面是我的代码
input_04_08 = numpy.loadtxt('./data/input_04_08.csv', delimiter=',')
input_09 = numpy.loadtxt('./data/input_09.csv', delimiter=',')
output_04_08 = numpy.loadtxt('./data/output_04_08.csv', delimiter=',')
output_09 = numpy.loadtxt('./data/output_09.csv', delimiter=',')
input_04_08 = input_04_08 / input_04_08.max(axis=0)
input_09 = input_09 / input_09.max(axis=0)
output_04_08 = output_04_08 / output_04_08.max(axis=0)
output_09 = output_09 / output_09.max(axis=0)
ds = SequentialDataSet(2, 1)
for x in range(0, 1825):
ds.newSequence()
ds.appendLinked(input_04_08[x], output_04_08[x])
fnn = buildNetwork( ds.indim, 25, ds.outdim, hiddenclass=LSTMLayer, bias=True, recurrent=True)
trainer = BackpropTrainer(fnn, ds, learningrate=0.01, momentum=0.1)
for epoch in range(0, 10000000):
if epoch % 100000 == 0:
error = trainer.train()
print 'Epoch: ', epoch
print 'Error: ', error
result = numpy.array([fnn.activate(x) for x in input_09])
这会导致 最终错误 0.000939719502501，但是这次，当我输入测试数据时，输出图看起来很糟糕。
可能的问题
我在这里查看了几乎所有 PyBrain 问题，这些问题很突出，但没有帮助我解决问题
- Training an LSTM neural network to forecast time series in pybrain, python
- Time Series Prediction via Neural Networks
- Time series forecasting (eventually with python)
看了一些博文，对我的理解加深了一点，但显然还不够
当然，我也浏览了 PyBrain 文档，但找不到太多关于顺序数据集栏的帮助 here。
欢迎任何ideas/tips/direction。
我认为这里发生的事情是您尝试根据一些经验法则分配超参数值，该经验法则适用于第一种情况，但不适用于第二种情况。
1) 您正在查看的误差估计是训练集的乐观 预测误差估计。 实际 预测误差很高，但由于您没有在看不见的数据上测试您的模型，所以无法知道它。 Elements of statistical learning 很好地描述了这种现象。我强烈推荐这本书。您可以在线免费获取。
2) 要获得具有低预测误差的估计器，您需要执行超参数调整。例如。隐藏节点的数量、学习率和动量应该变化，并在看不见的数据上进行测试，以了解哪种组合会导致最低的预测误差。 scikit-learn has GridSearchCV and RandomizedSearchCV to do just that, but they only work on sklearn`s estimators. You can roll your own estimator though, which is described in the documentation。我个人认为模型选择和模型评估是两个不同的任务。对于第一个，您可以 运行 一个单一的 GridSearchCV 或 RandomizedSearchCV 并为您的任务获得一组最佳超参数。对于模型评估，您需要 运行 更复杂的分析，例如嵌套交叉验证，如果您想要更准确的估计，甚至需要重复嵌套交叉验证。
3) 我对 LSTM 网络了解不多，但我看到在第一个示例中你分配了 25 个隐藏节点，但对于 LSTM 你只提供了 5 个。可能学习模式还不够。您也可以像 the example.
中那样降低输出偏差
P.S。我认为这个问题实际上属于 http://stats.stackexchange.com，在那里您可能会得到更详细的问题答案。
编辑：我刚刚注意到您正在对模型进行 1000 万次训练！我认为这很多而且可能是过度拟合问题的一部分。我认为实施 early stopping 是个好主意，即如果出现某些预定义错误则停止训练。
问题
我正在尝试使用 5 年的连续历史数据来预测下一年的值。
数据结构
我的输入数据 input_04_08 看起来像这样，其中第一列是一年中的第几天（1 到 365），第二列是记录的输入。
1,2
2,2
3,0
4,0
5,0
我的输出数据 output_04_08 看起来像这样，单列包含一年中那一天的记录输出。
27.6
28.9
0
0
0
然后我将 0 和 1 之间的值归一化，因此提供给网络的第一个样本看起来像
Number of training patterns: 1825
Input and output dimensions: 2 1
First sample (input, target):
[ 0.00273973 0.04 ] [ 0.02185273]
方法
前馈网络
我已经在 PyBrain 中实现了以下代码
input_04_08 = numpy.loadtxt('./data/input_04_08.csv', delimiter=',')
input_09 = numpy.loadtxt('./data/input_09.csv', delimiter=',')
output_04_08 = numpy.loadtxt('./data/output_04_08.csv', delimiter=',')
output_09 = numpy.loadtxt('./data/output_09.csv', delimiter=',')
input_04_08 = input_04_08 / input_04_08.max(axis=0)
input_09 = input_09 / input_09.max(axis=0)
output_04_08 = output_04_08 / output_04_08.max(axis=0)
output_09 = output_09 / output_09.max(axis=0)
ds = SupervisedDataSet(2, 1)
for x in range(0, 1825):
ds.addSample(input_04_08[x], output_04_08[x])
n = FeedForwardNetwork()
inLayer = LinearLayer(2)
hiddenLayer = TanhLayer(25)
outLayer = LinearLayer(1)
n.addInputModule(inLayer)
n.addModule(hiddenLayer)
n.addOutputModule(outLayer)
in_to_hidden = FullConnection(inLayer, hiddenLayer)
hidden_to_out = FullConnection(hiddenLayer, outLayer)
n.addConnection(in_to_hidden)
n.addConnection(hidden_to_out)
n.sortModules()
trainer = BackpropTrainer(n, ds, learningrate=0.01, momentum=0.1)
for epoch in range(0, 100000000):
if epoch % 10000000 == 0:
error = trainer.train()
print 'Epoch: ', epoch
print 'Error: ', error
result = numpy.array([n.activate(x) for x in input_09])
这给了我以下结果，最终错误为 0.00153840123381
不可否认，这看起来不错。然而，在阅读了更多有关 LSTM（长短期记忆）神经网络的信息以及对时间序列数据的适用性后，我正在尝试构建一个。
LSTM 网络
下面是我的代码
input_04_08 = numpy.loadtxt('./data/input_04_08.csv', delimiter=',')
input_09 = numpy.loadtxt('./data/input_09.csv', delimiter=',')
output_04_08 = numpy.loadtxt('./data/output_04_08.csv', delimiter=',')
output_09 = numpy.loadtxt('./data/output_09.csv', delimiter=',')
input_04_08 = input_04_08 / input_04_08.max(axis=0)
input_09 = input_09 / input_09.max(axis=0)
output_04_08 = output_04_08 / output_04_08.max(axis=0)
output_09 = output_09 / output_09.max(axis=0)
ds = SequentialDataSet(2, 1)
for x in range(0, 1825):
ds.newSequence()
ds.appendLinked(input_04_08[x], output_04_08[x])
fnn = buildNetwork( ds.indim, 25, ds.outdim, hiddenclass=LSTMLayer, bias=True, recurrent=True)
trainer = BackpropTrainer(fnn, ds, learningrate=0.01, momentum=0.1)
for epoch in range(0, 10000000):
if epoch % 100000 == 0:
error = trainer.train()
print 'Epoch: ', epoch
print 'Error: ', error
result = numpy.array([fnn.activate(x) for x in input_09])
这会导致 最终错误 0.000939719502501，但是这次，当我输入测试数据时，输出图看起来很糟糕。
可能的问题
我在这里查看了几乎所有 PyBrain 问题，这些问题很突出，但没有帮助我解决问题
- Training an LSTM neural network to forecast time series in pybrain, python
- Time Series Prediction via Neural Networks
- Time series forecasting (eventually with python)
看了一些博文，对我的理解加深了一点，但显然还不够
当然，我也浏览了 PyBrain 文档，但找不到太多关于顺序数据集栏的帮助 here。
欢迎任何ideas/tips/direction。
我认为这里发生的事情是您尝试根据一些经验法则分配超参数值，该经验法则适用于第一种情况，但不适用于第二种情况。
1) 您正在查看的误差估计是训练集的乐观 预测误差估计。 实际 预测误差很高，但由于您没有在看不见的数据上测试您的模型，所以无法知道它。 Elements of statistical learning 很好地描述了这种现象。我强烈推荐这本书。您可以在线免费获取。
2) 要获得具有低预测误差的估计器，您需要执行超参数调整。例如。隐藏节点的数量、学习率和动量应该变化，并在看不见的数据上进行测试，以了解哪种组合会导致最低的预测误差。 scikit-learn has GridSearchCV and RandomizedSearchCV to do just that, but they only work on sklearn`s estimators. You can roll your own estimator though, which is described in the documentation。我个人认为模型选择和模型评估是两个不同的任务。对于第一个，您可以 运行 一个单一的 GridSearchCV 或 RandomizedSearchCV 并为您的任务获得一组最佳超参数。对于模型评估，您需要 运行 更复杂的分析，例如嵌套交叉验证，如果您想要更准确的估计，甚至需要重复嵌套交叉验证。
3) 我对 LSTM 网络了解不多，但我看到在第一个示例中你分配了 25 个隐藏节点，但对于 LSTM 你只提供了 5 个。可能学习模式还不够。您也可以像 the example.
中那样降低输出偏差P.S。我认为这个问题实际上属于 http://stats.stackexchange.com，在那里您可能会得到更详细的问题答案。
编辑：我刚刚注意到您正在对模型进行 1000 万次训练！我认为这很多而且可能是过度拟合问题的一部分。我认为实施 early stopping 是个好主意，即如果出现某些预定义错误则停止训练。