如何解决 model.predict() 中的 ValueError?
How to solve ValueError in model.predict()?
我是神经网络问题的新手。我已经搜索了几个小时,但不明白我应该怎么做才能解决这个问题!我正在使用 nsl-kdd 数据集用于带有卷积神经网络的入侵检测系统。
我遇到了这个问题:ValueError:层 dense_14 的输入 0 与层不兼容:预期输入形状的轴 -1 的值为 3904 但收到的输入形状为 [ None, 3712]
形状:
x_train (125973, 122)
y_train (125973, 5)
x_test (22544, 116)
y_test (22544,)
整形后:
x_train = np.reshape(x_train, (x_train.shape[0], x_train.shape[1], 1)) #(125973, 122, 1)
x_test = np.reshape(x_test, (x_test.shape[0], x_test.shape[1], 1)) #(22544, 116, 1)
型号:
model = Sequential()
model.add(Convolution1D(64, 3, padding="same",activation="relu",input_shape = (x_train.shape[1], 1)))
model.add(MaxPooling1D(pool_size=(2)))
model.add(Flatten())
model.add(Dense(128, activation="relu"))
model.add(Dropout(0.5))
model.add(Dense(5, activation="softmax"))
编译:
model.compile(optimizer = 'adam', loss = 'categorical_crossentropy', metrics = ['accuracy'])
model.fit(x_train, Y_train, epochs = 5, batch_size = 32)
pred = model.predict(x_test) #problem is occurring for this line
y_pred= np.argmax(pred, axis = 1)
model summary
问题:问题是您的测试集确实与训练集具有相同的维度。测试集应该看起来就像您从训练集中抽取样本一样。因此,如果您的训练集具有维度 x_train.shape = (125973, 122)
和 y_train.shape = (125973, 5)
。那么你的测试集应该有维度 x_test.shape = (sample_num, 122)
和 y_test.shape = (sample_num, 5)
.
可能的解决方案: 如果您不想在 .fit()
中使用带有验证拆分的测试集,则可以使用一种简单的测试方法。
所以这个:model.fit(x_train, Y_train, epochs = 5, batch_size = 32)
会变成这样:model.fit(x_train, Y_train, epochs = 5, batch_size = 32, validation_split=0.2)
这将砍掉 20% 的训练数据并将其用于测试。然后在每个 epoch 之后,TensorFlow 将打印网络对验证数据的执行情况,以便您可以看到您的模型对以前从未见过的数据的执行情况。
您的 x_test 应具有与 x_train 相同的尺寸。
x_train = (125973, 122, 1)
x_test = (22544, 116, 1) # 第二个参数必须匹配train set
代码示例:
import tensorflow as tf
import pandas as pd
import numpy as np
from tensorflow.keras.layers import *
from tensorflow.keras import *
x1 = np.random.uniform(100, size =(125973, 122,1))
x2 = np.random.uniform(100, size =(22544, 122, 1))
y1 = np.random.randint(100, size =(125973,5), dtype = np.int32)
y2 = np.random.randint(2, size =(22544, ), dtype = np.int32)
def create_model2():
model = Sequential()
model.add(Convolution1D(64, 3, padding="same",activation="relu",input_shape = (x1.shape[1], 1)))
model.add(MaxPooling1D(pool_size=(2)))
model.add(Flatten())
model.add(Dense(128, activation="relu"))
model.add(Dropout(0.5))
model.add(Dense(5, activation="softmax"))
model.compile(optimizer = 'adam', loss = 'categorical_crossentropy', metrics = ['accuracy'])
return model
model = create_model2()
tf.keras.utils.plot_model(model, 'my_first_model.png', show_shapes=True)
您的模型看起来像这样:
现在,如果使用您的测试集来创建您的模型,将您的维度保持为 (22544, 116, 1)。
你得到一个看起来像这样的模型。
由于维度不同,每层的预期输入和输出也不同。
当您有适当的测试维度时,输出会按预期工作:
pred = model.predict(x2)
pred
输出:
array([[1., 0., 0., 0., 0.],
[1., 0., 0., 0., 0.],
[1., 0., 0., 0., 0.],
...,
[1., 0., 0., 0., 0.],
[1., 0., 0., 0., 0.],
[1., 0., 0., 0., 0.]], dtype=float32)
我是神经网络问题的新手。我已经搜索了几个小时,但不明白我应该怎么做才能解决这个问题!我正在使用 nsl-kdd 数据集用于带有卷积神经网络的入侵检测系统。
我遇到了这个问题:ValueError:层 dense_14 的输入 0 与层不兼容:预期输入形状的轴 -1 的值为 3904 但收到的输入形状为 [ None, 3712]
形状:
x_train (125973, 122)
y_train (125973, 5)
x_test (22544, 116)
y_test (22544,)
整形后:
x_train = np.reshape(x_train, (x_train.shape[0], x_train.shape[1], 1)) #(125973, 122, 1)
x_test = np.reshape(x_test, (x_test.shape[0], x_test.shape[1], 1)) #(22544, 116, 1)
型号:
model = Sequential()
model.add(Convolution1D(64, 3, padding="same",activation="relu",input_shape = (x_train.shape[1], 1)))
model.add(MaxPooling1D(pool_size=(2)))
model.add(Flatten())
model.add(Dense(128, activation="relu"))
model.add(Dropout(0.5))
model.add(Dense(5, activation="softmax"))
编译:
model.compile(optimizer = 'adam', loss = 'categorical_crossentropy', metrics = ['accuracy'])
model.fit(x_train, Y_train, epochs = 5, batch_size = 32)
pred = model.predict(x_test) #problem is occurring for this line
y_pred= np.argmax(pred, axis = 1)
model summary
问题:问题是您的测试集确实与训练集具有相同的维度。测试集应该看起来就像您从训练集中抽取样本一样。因此,如果您的训练集具有维度 x_train.shape = (125973, 122)
和 y_train.shape = (125973, 5)
。那么你的测试集应该有维度 x_test.shape = (sample_num, 122)
和 y_test.shape = (sample_num, 5)
.
可能的解决方案: 如果您不想在 .fit()
中使用带有验证拆分的测试集,则可以使用一种简单的测试方法。
所以这个:model.fit(x_train, Y_train, epochs = 5, batch_size = 32)
会变成这样:model.fit(x_train, Y_train, epochs = 5, batch_size = 32, validation_split=0.2)
这将砍掉 20% 的训练数据并将其用于测试。然后在每个 epoch 之后,TensorFlow 将打印网络对验证数据的执行情况,以便您可以看到您的模型对以前从未见过的数据的执行情况。
您的 x_test 应具有与 x_train 相同的尺寸。
x_train = (125973, 122, 1)
x_test = (22544, 116, 1) # 第二个参数必须匹配train set
代码示例:
import tensorflow as tf
import pandas as pd
import numpy as np
from tensorflow.keras.layers import *
from tensorflow.keras import *
x1 = np.random.uniform(100, size =(125973, 122,1))
x2 = np.random.uniform(100, size =(22544, 122, 1))
y1 = np.random.randint(100, size =(125973,5), dtype = np.int32)
y2 = np.random.randint(2, size =(22544, ), dtype = np.int32)
def create_model2():
model = Sequential()
model.add(Convolution1D(64, 3, padding="same",activation="relu",input_shape = (x1.shape[1], 1)))
model.add(MaxPooling1D(pool_size=(2)))
model.add(Flatten())
model.add(Dense(128, activation="relu"))
model.add(Dropout(0.5))
model.add(Dense(5, activation="softmax"))
model.compile(optimizer = 'adam', loss = 'categorical_crossentropy', metrics = ['accuracy'])
return model
model = create_model2()
tf.keras.utils.plot_model(model, 'my_first_model.png', show_shapes=True)
您的模型看起来像这样:
现在,如果使用您的测试集来创建您的模型,将您的维度保持为 (22544, 116, 1)。
你得到一个看起来像这样的模型。
由于维度不同,每层的预期输入和输出也不同。
当您有适当的测试维度时,输出会按预期工作:
pred = model.predict(x2)
pred
输出:
array([[1., 0., 0., 0., 0.],
[1., 0., 0., 0., 0.],
[1., 0., 0., 0., 0.],
...,
[1., 0., 0., 0., 0.],
[1., 0., 0., 0., 0.],
[1., 0., 0., 0., 0.]], dtype=float32)