使用 lstm 和 keras 训练模型

Question

我有这样的输入数据：

x_train = [
    [0,0,0,1,-1,-1,1,0,1,0,...,0,1,-1],
    [-1,0,0,-1,-1,0,1,1,1,...,-1,-1,0]
    ...
    [1,0,0,1,1,0,-1,-1,-1,...,-1,-1,0]
]
y_train = [1,1,1,0,-1,-1,-1,0,1...,0,1]

它是一个数组，每个数组的大小为 83。 y_train 是每个数组的标签。所以 len(x_train) 等于 len(y_train)。我使用 keras 和 theano 后端使用以下代码对此类数据进行训练：

def train(x, y, x_test, y_test):
    x_train = np.array(x)
    y_train = np.array(y)
    print x_train.shape
    print y_train.shape
    model = Sequential()
    model.add(Embedding(x_train.shape[0], output_dim=256))
    model.add(LSTM(128))
    model.add(Dropout(0.5))
    model.add(Dense(1, activation='sigmoid'))
    model.compile(loss='binary_crossentropy',
            optimizer='rmsprop',
            metrics=['accuracy'])
    model.fit(x_train, y_train, batch_size=16)
    score = model.evaluate(x_test, y_test, batch_size=16)
    print score

但我的网络不适合，结果是：

Epoch 1/10
1618/1618 [==============================] - 4s - loss: -1.6630 - acc: 0.0043     
Epoch 2/10
1618/1618 [==============================] - 4s - loss: -2.5033 - acc: 0.0012         
Epoch 3/10
1618/1618 [==============================] - 4s - loss: -2.6150 - acc: 0.0012         
Epoch 4/10
1618/1618 [==============================] - 4s - loss: -2.6297 - acc: 0.0012         
Epoch 5/10
1618/1618 [==============================] - 4s - loss: -2.5731 - acc: 0.0012            
Epoch 6/10
1618/1618 [==============================] - 4s - loss: -2.6042 - acc: 0.0012         
Epoch 7/10
1618/1618 [==============================] - 4s - loss: -2.6257 - acc: 0.0012          
Epoch 8/10
1618/1618 [==============================] - 4s - loss: -2.6303 - acc: 0.0012         
Epoch 9/10
1618/1618 [==============================] - 4s - loss: -2.6296 - acc: 0.0012         
Epoch 10/10
1618/1618 [==============================] - 4s - loss: -2.6298 - acc: 0.0012         
283/283 [==============================] - 0s     
[-2.6199024279631482, 0.26501766742328875]

我想参加这次培训并取得好成绩。

Answer 1

负损失应该引发巨大的危险信号。损失应始终为正数，接近于零。你说你的 y 是

y_train = [1,1,1,0,-1,-1,-1,0,1...,0,1]

因为你的损失是 binary_crossentropy 我不得不假设 objective 是一个 2 class, class化问题。当您查看 y 值时，您有 -1、0 和 1。这表明 3 classes。大问题，你应该只有 1 和 0。您需要更正您的数据。我对这些数据一无所知，所以我忍不住把它压缩成两个 classes。 -1 是负损失的原因。 sigmoid 激活基于范围为 0-1 的 CDF，因此您的 classes 必须适合此函数的两端。

编辑

根据下面评论中的描述，我建议使用 3 class 结构。以下是转换为分类值的输出数据示例

from keras.utils import to_categorical

y_train = np.random.randint(-1,2,(10))

print(y_train)

[-1  0 -1 -1 -1  0 -1  1  1  0]

print(to_categorical(y_train,num_classes=3))

[[ 0.  0.  1.]
 [ 1.  0.  0.]
 [ 0.  0.  1.]
 [ 0.  0.  1.]
 [ 0.  0.  1.]
 [ 1.  0.  0.]
 [ 0.  0.  1.]
 [ 0.  1.  0.]
 [ 0.  1.  0.]
 [ 1.  0.  0.]]

现在每个可能的输出都存储在单独的列中。您可以看到如何为 -1,0 和 1 分配一个二进制值，即 -1 = [0. 0. 1.]、0 = [1. 0. 0.] 和 1 = [0. 1. 0.]

现在你只需要更新损失函数、输出节点的数量和输出层上的激活

model.add(Dense(3, activation='softmax'))
model.compile(loss='categorical_crossentropy',
        optimizer='rmsprop',
        metrics=['accuracy'])

使用 lstm 和 keras 训练模型

Train a model using lstm and keras

python

theano

lstm

keras

keras-layer