带有预定义训练集和验证集的 Spark ML TrainValidationSplit
Spark ML TrainValidationSplit with predefined train and validation sets
Spark ML class TrainValidationSplit 允许我设置 setTrainRatio。但是,我想手动创建我的训练集和测试集。有没有一种方法可以在 TrainValidationSplit 中指定训练集和测试集?
我正在使用 Scala ML API。
谢谢!
抱歉,你不能。
至少在 Spark 2.1.1 中,火车和验证数据的定义是通过 randomSplit 完成的硬编码:
您可能可以继承 TrainValidationClass 并根据需要扩展拟合函数。
Spark ML class TrainValidationSplit 允许我设置 setTrainRatio。但是,我想手动创建我的训练集和测试集。有没有一种方法可以在 TrainValidationSplit 中指定训练集和测试集?
我正在使用 Scala ML API。
谢谢!
抱歉,你不能。
至少在 Spark 2.1.1 中,火车和验证数据的定义是通过 randomSplit 完成的硬编码:
您可能可以继承 TrainValidationClass 并根据需要扩展拟合函数。