使用 PySpark 将 CrossValidator 对象拟合到训练数据错误
Fitting CrossValidator object to training data error with PySpark
我在这里发现了很多关于从拟合的 CrossValidator 对象中提取最佳模型参数的问题,但我没有发现任何关于这个特定错误的问题。
我正在尝试创建一个 CrossValidator 对象并将其拟合到我的训练数据中,然后再根据我的初始线性回归模型评估指标。我的数据集已被消化成适当的格式并分为训练集和测试集,并成功应用于第一个线性回归模型。第一次尝试交叉验证,我不知怎么搞砸了,因为最后一行代码 returns an
“IllegalArgumentException:标签不存在。可用:PE、特征、CrossValidator_3fda633cd32d_rand、预测”,其中 'PE' 是我的 labelCol。
from pyspark.ml.regression import LinearRegression
from pyspark.ml.evaluation import RegressionEvaluator
from pyspark.ml.tuning import CrossValidator, ParamGridBuilder
lrCV = LinearRegression(featuresCol='features', labelCol='PE', maxIter=50)
#Creating a grid of parameter values that the cross-validation will use
paramGrid = ParamGridBuilder() \
.addGrid(lrCV.regParam, [1, 0.1, 0.01]) \
.addGrid(lrCV.elasticNetParam, [0.0, 0.5, 1.0, 2]) \
.addGrid(lrCV.fitIntercept, [True, False]) \
.build()
#Create an instance of the CrossValidator object and enter our predefined parameters
crossVal = CrossValidator(estimator=lrCV,
estimatorParamMaps=paramGrid,
evaluator=RegressionEvaluator(),
numFolds=5)
lrModelCV = crossVal.fit(train)
有人有什么建议吗?我猜这是我忽略的非常简单的东西,但我一生都找不到它是什么。提前致谢。
默认情况下,CrossValidation 期望输出标签被命名为 label
- 您可以将输出列
label
放在开头以避免所有混乱
或
您也可以将 labelCol='PE'
传递给 RegressionEvaluator()
RegressionEvaluator(labelCol='PE')
我在这里发现了很多关于从拟合的 CrossValidator 对象中提取最佳模型参数的问题,但我没有发现任何关于这个特定错误的问题。 我正在尝试创建一个 CrossValidator 对象并将其拟合到我的训练数据中,然后再根据我的初始线性回归模型评估指标。我的数据集已被消化成适当的格式并分为训练集和测试集,并成功应用于第一个线性回归模型。第一次尝试交叉验证,我不知怎么搞砸了,因为最后一行代码 returns an “IllegalArgumentException:标签不存在。可用:PE、特征、CrossValidator_3fda633cd32d_rand、预测”,其中 'PE' 是我的 labelCol。
from pyspark.ml.regression import LinearRegression
from pyspark.ml.evaluation import RegressionEvaluator
from pyspark.ml.tuning import CrossValidator, ParamGridBuilder
lrCV = LinearRegression(featuresCol='features', labelCol='PE', maxIter=50)
#Creating a grid of parameter values that the cross-validation will use
paramGrid = ParamGridBuilder() \
.addGrid(lrCV.regParam, [1, 0.1, 0.01]) \
.addGrid(lrCV.elasticNetParam, [0.0, 0.5, 1.0, 2]) \
.addGrid(lrCV.fitIntercept, [True, False]) \
.build()
#Create an instance of the CrossValidator object and enter our predefined parameters
crossVal = CrossValidator(estimator=lrCV,
estimatorParamMaps=paramGrid,
evaluator=RegressionEvaluator(),
numFolds=5)
lrModelCV = crossVal.fit(train)
有人有什么建议吗?我猜这是我忽略的非常简单的东西,但我一生都找不到它是什么。提前致谢。
默认情况下,CrossValidation 期望输出标签被命名为 label
- 您可以将输出列
label
放在开头以避免所有混乱
或
您也可以将
labelCol='PE'
传递给RegressionEvaluator()
RegressionEvaluator(labelCol='PE')