如何解决 model.predict() 中的 ValueError？

Question

我是神经网络问题的新手。我已经搜索了几个小时，但不明白我应该怎么做才能解决这个问题！我正在使用 nsl-kdd 数据集用于带有卷积神经网络的入侵检测系统。

我遇到了这个问题：ValueError：层 dense_14 的输入 0 与层不兼容：预期输入形状的轴 -1 的值为 3904 但收到的输入形状为 [ None, 3712]

形状：

x_train (125973, 122)

y_train (125973, 5)

x_test (22544, 116)

y_test (22544,)

整形后：

x_train = np.reshape(x_train, (x_train.shape[0], x_train.shape[1], 1)) #(125973, 122, 1)

x_test = np.reshape(x_test, (x_test.shape[0], x_test.shape[1], 1)) #(22544, 116, 1)

型号：

model = Sequential()
model.add(Convolution1D(64, 3, padding="same",activation="relu",input_shape = (x_train.shape[1], 1)))
model.add(MaxPooling1D(pool_size=(2)))
model.add(Flatten())
model.add(Dense(128, activation="relu"))
model.add(Dropout(0.5))
model.add(Dense(5, activation="softmax"))

编译：

model.compile(optimizer = 'adam', loss = 'categorical_crossentropy', metrics = ['accuracy'])
model.fit(x_train, Y_train, epochs = 5, batch_size = 32)

pred = model.predict(x_test)  #problem is occurring for this line
y_pred= np.argmax(pred, axis = 1)

model summary

Answer 1

问题：问题是您的测试集确实与训练集具有相同的维度。测试集应该看起来就像您从训练集中抽取样本一样。因此，如果您的训练集具有维度 x_train.shape = (125973, 122) 和 y_train.shape = (125973, 5)。那么你的测试集应该有维度 x_test.shape = (sample_num, 122) 和 y_test.shape = (sample_num, 5).

可能的解决方案： 如果您不想在 .fit() 中使用带有验证拆分的测试集，则可以使用一种简单的测试方法。

所以这个：model.fit(x_train, Y_train, epochs = 5, batch_size = 32)
会变成这样：model.fit(x_train, Y_train, epochs = 5, batch_size = 32, validation_split=0.2)

这将砍掉 20% 的训练数据并将其用于测试。然后在每个 epoch 之后，TensorFlow 将打印网络对验证数据的执行情况，以便您可以看到您的模型对以前从未见过的数据的执行情况。

Answer 2

您的 x_test 应具有与 x_train 相同的尺寸。
x_train = (125973, 122, 1)

x_test = (22544, 116, 1) # 第二个参数必须匹配train set

代码示例：

import tensorflow as tf
import pandas as pd 
import numpy as np
from tensorflow.keras.layers import *
from tensorflow.keras import *


x1 = np.random.uniform(100, size =(125973, 122,1))
x2 = np.random.uniform(100, size =(22544, 122, 1))
y1 = np.random.randint(100, size =(125973,5), dtype = np.int32)
y2 = np.random.randint(2, size =(22544, ), dtype = np.int32)

def create_model2():
    model = Sequential()
    model.add(Convolution1D(64, 3, padding="same",activation="relu",input_shape = (x1.shape[1], 1)))
    model.add(MaxPooling1D(pool_size=(2)))
    model.add(Flatten())
    model.add(Dense(128, activation="relu"))
    model.add(Dropout(0.5))
    model.add(Dense(5, activation="softmax"))
    
    model.compile(optimizer = 'adam', loss = 'categorical_crossentropy', metrics = ['accuracy'])
    return model

model = create_model2()
tf.keras.utils.plot_model(model, 'my_first_model.png', show_shapes=True)

您的模型看起来像这样：

现在，如果使用您的测试集来创建您的模型，将您的维度保持为 (22544, 116, 1)。
你得到一个看起来像这样的模型。
由于维度不同，每层的预期输入和输出也不同。

当您有适当的测试维度时，输出会按预期工作：

pred = model.predict(x2)
pred

输出：

array([[1., 0., 0., 0., 0.],
       [1., 0., 0., 0., 0.],
       [1., 0., 0., 0., 0.],
       ...,
       [1., 0., 0., 0., 0.],
       [1., 0., 0., 0., 0.],
       [1., 0., 0., 0., 0.]], dtype=float32)

如何解决 model.predict() 中的 ValueError？

How to solve ValueError in model.predict()?

tensorflow

conv-neural-network

keras-layer

intrusion-detection