ML.NET CategoricalOneHotVectorizer 是否也对测试数据进行编码?
Does ML.NET CategoricalOneHotVectorizer encode testing data as well?
我不确定 ML.NET CategoricalOneHotVectorizer 是如何工作的,根据他们的示例代码,
var pipeline = new LearningPipeline
{
// ... extra code ...
new CategoricalOneHotVectorizer("VendorId", "RateCode", "PaymentType"),
// ... extra code ...
new FastTreeRegressor()
};
在我看来,一旦我们调用 model = pipeline.Train() 来训练模型,它只会对分类输入数据进行编码。所以如果我的测试数据有一些输入中没有的值,它会不会弄乱预测结果?
通常在 Python 上,我会在使用 OneHotEncoder 编码分类变量之前对训练和测试数据进行训练。不确定如何使用 ML.NET
您不应使用您的测试数据来训练您的模型。那是一个错误。默认情况下,All one 热编码机器学习框架会将一个看不见的类别编码为全空值。
ML.NET v0.7 也会这样做:
public static void TryOneHot()
{
var data = Enumerable.Range(1, 4).Select(i => new { A = $"{i}", B = $"{i}" });
var trainData = data.Take(3).ToArray();
var testData = data.Skip(3).ToArray();
using (var env = new ConsoleEnvironment(seed: 1, conc: 1))
{
var dataView = env.CreateDataView(trainData).AssertStatic(env, c => (A: c.Text.Scalar, B: c.Text.Scalar));
var encoderPipe = dataView.MakeNewEstimator()
.Append(row => (
A_OH: row.A.OneHotEncoding(),
B_OH: row.B.OneHotEncoding()
));
var encoder = encoderPipe.Fit(dataView);
var encodedTrainingData = encoder.AsDynamic.Transform(env.CreateDataView(trainData));
var raw = encodedTrainingData.GetColumn<float[]>(env, "A_OH").ToArray();
var encodedTestData = encoder.AsDynamic.Transform(env.CreateDataView(testData));
var rawUnseen = encodedTestData.GetColumn<float[]>(env, "A_OH").ToArray();
}
}
如果您检查 rawUnseen
,您会发现它将被 [0, 0, 0]
编码,因为从未见过该类别。
我不确定 ML.NET CategoricalOneHotVectorizer 是如何工作的,根据他们的示例代码,
var pipeline = new LearningPipeline
{
// ... extra code ...
new CategoricalOneHotVectorizer("VendorId", "RateCode", "PaymentType"),
// ... extra code ...
new FastTreeRegressor()
};
在我看来,一旦我们调用 model = pipeline.Train() 来训练模型,它只会对分类输入数据进行编码。所以如果我的测试数据有一些输入中没有的值,它会不会弄乱预测结果?
通常在 Python 上,我会在使用 OneHotEncoder 编码分类变量之前对训练和测试数据进行训练。不确定如何使用 ML.NET
您不应使用您的测试数据来训练您的模型。那是一个错误。默认情况下,All one 热编码机器学习框架会将一个看不见的类别编码为全空值。 ML.NET v0.7 也会这样做:
public static void TryOneHot()
{
var data = Enumerable.Range(1, 4).Select(i => new { A = $"{i}", B = $"{i}" });
var trainData = data.Take(3).ToArray();
var testData = data.Skip(3).ToArray();
using (var env = new ConsoleEnvironment(seed: 1, conc: 1))
{
var dataView = env.CreateDataView(trainData).AssertStatic(env, c => (A: c.Text.Scalar, B: c.Text.Scalar));
var encoderPipe = dataView.MakeNewEstimator()
.Append(row => (
A_OH: row.A.OneHotEncoding(),
B_OH: row.B.OneHotEncoding()
));
var encoder = encoderPipe.Fit(dataView);
var encodedTrainingData = encoder.AsDynamic.Transform(env.CreateDataView(trainData));
var raw = encodedTrainingData.GetColumn<float[]>(env, "A_OH").ToArray();
var encodedTestData = encoder.AsDynamic.Transform(env.CreateDataView(testData));
var rawUnseen = encodedTestData.GetColumn<float[]>(env, "A_OH").ToArray();
}
}
如果您检查 rawUnseen
,您会发现它将被 [0, 0, 0]
编码,因为从未见过该类别。