如何使用 scikit 的 Surprise 进行预测?
How to make predictions with scikit's Surprise?
我在理解 Surprise 工作流程时遇到一些问题。我有一个用于训练的文件(我试图将其分为训练和验证)和一个用于测试数据的文件。我无法理解 Surprise Dataset 和 Trainset
之间的区别
# Import data
data_dir = 'DIRECTORY_NAME'
reader = Reader(rating_scale=(1, 5))
# Create pandas dataframes
train_valid_df = pd.read_csv(os.path.join(data_dir, 'TRAINING_FILENAME.csv'))
train_df, valid_df = train_test_split(train_valid_df, test_size=0.2)
test_df = pd.read_csv(os.path.join(data_dir, 'TEST_FILENAME.csv'))
# Create surprise Dataset objects
train_valid_Dataset = Dataset.load_from_df(train_valid_df[['user_id', 'item_id', 'rating']], reader)
train_Dataset = Dataset.load_from_df(train_df[['user_id', 'item_id', 'rating']], reader)
valid_Dataset = Dataset.load_from_df(valid_df[['user_id', 'item_id', 'rating']], reader)
test_Dataset = Dataset.load_from_df(test_df[['user_id', 'item_id', 'rating']], reader)
# Create surprise Trainset object (and testset object?)
train_Trainset = train_data.build_full_trainset()
valid_Testset = trainset.build_anti_testset()
然后,我创建我的预测器:
algo = KNNBaseline(k=60, min_k=2, sim_options={'name': 'msd', 'user_based': True})
现在,如果我想交叉验证我会做
cross_v = cross_validate(algo, all_data, measures=['mae'], cv=10, verbose=True)
哪个训练模型(?),但如果我想使用固定的验证集,我该怎么办?这个:?
algo.fit(train_Trainset)
在这样做之后,我试图得到一些预测:
predictions = algo.test(valid_Testset)
print(predictions[0])
结果是这样
但是当我尝试使用项目和用户 ID 号码进行预测时,它说这样的预测是不可能的:
print(algo.predict('13', '194'))
print(algo.predict('260', '338'))
print(algo.predict('924', '559'))
产量:
第一对 user/item 来自训练反集,第二对来自验证集,第三对来自训练集。我不知道为什么会这样,而且我发现文档有时令人困惑。同样,许多在线教程似乎都在 pandas 数据帧上进行训练,我为此抛出了错误。任何人都可以澄清 surprise 的工作流程实际上是什么样的吗?我如何训练然后在测试集上做出预测?
谢谢!
希望这对您有所帮助,因为您有单独的训练和测试,我们创建了与您的数据类似的东西:
from surprise import Dataset, KNNBaseline, Reader
import pandas as pd
import numpy as np
from surprise.model_selection import cross_validate
reader = Reader(rating_scale=(1, 5))
train_df = pd.DataFrame({'user_id':np.random.choice(['1','2','3','4'],100),
'item_id':np.random.choice(['101','102','103','104'],100),
'rating':np.random.uniform(1,5,100)})
valid_df = pd.DataFrame({'user_id':np.random.choice(['1','2','3','4'],100),
'item_id':np.random.choice(['101','102','103','104'],100),
'rating':np.random.uniform(1,5,100)})
然后我们需要将训练数据转换为 surprise.trainset
,类似于您所做的:
train_Dataset = Dataset.load_from_df(train_df[['user_id', 'item_id', 'rating']], reader)
valid_Dataset = Dataset.load_from_df(valid_df[['user_id', 'item_id', 'rating']], reader)
train_Dataset = train_Dataset.build_full_trainset()
对于拟合,您只需要 train_Dataset,对于交叉验证,我不确定您要做什么,我发现它超出了预测的问题范围,所以我们拟合:
algo = KNNBaseline(k=60, min_k=2, sim_options={'name': 'msd', 'user_based': True})
algo.fit(train_Dataset)
要进行预测,您需要以列表或数组的形式提供输入,其形状与您的输入相同,因此例如,如果我们要提供测试数据集,它将是:
testset = [valid_Dataset.df.loc[i].to_list() for i in range(len(valid_Dataset.df))]
algo.test(testset)[:2]
[Prediction(uid='2', iid='103', r_ui=3.0224818872683845, est=2.8486558674146125, details={'actual_k': 25, 'was_impossible': False}),
Prediction(uid='2', iid='103', r_ui=4.609064535195377, est=2.8486558674146125, details={'actual_k': 25, 'was_impossible': False})]
如果您想测试一个或两个值,它将是:
algo.test([['1','101',None]])
我在理解 Surprise 工作流程时遇到一些问题。我有一个用于训练的文件(我试图将其分为训练和验证)和一个用于测试数据的文件。我无法理解 Surprise Dataset 和 Trainset
之间的区别# Import data
data_dir = 'DIRECTORY_NAME'
reader = Reader(rating_scale=(1, 5))
# Create pandas dataframes
train_valid_df = pd.read_csv(os.path.join(data_dir, 'TRAINING_FILENAME.csv'))
train_df, valid_df = train_test_split(train_valid_df, test_size=0.2)
test_df = pd.read_csv(os.path.join(data_dir, 'TEST_FILENAME.csv'))
# Create surprise Dataset objects
train_valid_Dataset = Dataset.load_from_df(train_valid_df[['user_id', 'item_id', 'rating']], reader)
train_Dataset = Dataset.load_from_df(train_df[['user_id', 'item_id', 'rating']], reader)
valid_Dataset = Dataset.load_from_df(valid_df[['user_id', 'item_id', 'rating']], reader)
test_Dataset = Dataset.load_from_df(test_df[['user_id', 'item_id', 'rating']], reader)
# Create surprise Trainset object (and testset object?)
train_Trainset = train_data.build_full_trainset()
valid_Testset = trainset.build_anti_testset()
然后,我创建我的预测器:
algo = KNNBaseline(k=60, min_k=2, sim_options={'name': 'msd', 'user_based': True})
现在,如果我想交叉验证我会做
cross_v = cross_validate(algo, all_data, measures=['mae'], cv=10, verbose=True)
哪个训练模型(?),但如果我想使用固定的验证集,我该怎么办?这个:?
algo.fit(train_Trainset)
在这样做之后,我试图得到一些预测:
predictions = algo.test(valid_Testset)
print(predictions[0])
结果是这样
print(algo.predict('13', '194'))
print(algo.predict('260', '338'))
print(algo.predict('924', '559'))
产量:
第一对 user/item 来自训练反集,第二对来自验证集,第三对来自训练集。我不知道为什么会这样,而且我发现文档有时令人困惑。同样,许多在线教程似乎都在 pandas 数据帧上进行训练,我为此抛出了错误。任何人都可以澄清 surprise 的工作流程实际上是什么样的吗?我如何训练然后在测试集上做出预测?
谢谢!
希望这对您有所帮助,因为您有单独的训练和测试,我们创建了与您的数据类似的东西:
from surprise import Dataset, KNNBaseline, Reader
import pandas as pd
import numpy as np
from surprise.model_selection import cross_validate
reader = Reader(rating_scale=(1, 5))
train_df = pd.DataFrame({'user_id':np.random.choice(['1','2','3','4'],100),
'item_id':np.random.choice(['101','102','103','104'],100),
'rating':np.random.uniform(1,5,100)})
valid_df = pd.DataFrame({'user_id':np.random.choice(['1','2','3','4'],100),
'item_id':np.random.choice(['101','102','103','104'],100),
'rating':np.random.uniform(1,5,100)})
然后我们需要将训练数据转换为 surprise.trainset
,类似于您所做的:
train_Dataset = Dataset.load_from_df(train_df[['user_id', 'item_id', 'rating']], reader)
valid_Dataset = Dataset.load_from_df(valid_df[['user_id', 'item_id', 'rating']], reader)
train_Dataset = train_Dataset.build_full_trainset()
对于拟合,您只需要 train_Dataset,对于交叉验证,我不确定您要做什么,我发现它超出了预测的问题范围,所以我们拟合:
algo = KNNBaseline(k=60, min_k=2, sim_options={'name': 'msd', 'user_based': True})
algo.fit(train_Dataset)
要进行预测,您需要以列表或数组的形式提供输入,其形状与您的输入相同,因此例如,如果我们要提供测试数据集,它将是:
testset = [valid_Dataset.df.loc[i].to_list() for i in range(len(valid_Dataset.df))]
algo.test(testset)[:2]
[Prediction(uid='2', iid='103', r_ui=3.0224818872683845, est=2.8486558674146125, details={'actual_k': 25, 'was_impossible': False}),
Prediction(uid='2', iid='103', r_ui=4.609064535195377, est=2.8486558674146125, details={'actual_k': 25, 'was_impossible': False})]
如果您想测试一个或两个值,它将是:
algo.test([['1','101',None]])