Spark MlLib 中的分类和数值特征 (Java)

Question

我在 Java 中使用 Apache Spark MlLib 2.11 版。我需要将分类和数字特征（字符串和数字）传递给 RandomForestClassifier。

在这种情况下最好API使用什么？举个例子会很有帮助。

编辑

我尝试使用 VectorIndexer，但它只接受数字，我不明白如何将 OneHotEncoder 集成到它。另外，我不清楚如何分辨哪些特征是分类的，哪些是数字的。我需要在哪里设置所有可能的类别？

这是我试过的一些代码：

StructType schema = DataTypes.createStructType(new StructField[] {
        new StructField("label", DataTypes.StringType, false, Metadata.empty()),
        new StructField("features", new ArrayType(DataTypes.StringType, false), false,
                Metadata.empty()),
});

JavaRDD<Row> rowRDD = trainingData.map(record -> {
    List<String> values = new ArrayList<>();
    for (String field : fields) {
        values.add(record.get(field));
    }
    return RowFactory.create(record.get(Constants.GROUND_TRUTH), values.toArray(new String[0]));
});

Dataset<Row> trainingDataDataframe = spark.createDataFrame(rowRDD, schema);

StringIndexerModel labelIndexer = new StringIndexer()
        .setInputCol("label")
        .setOutputCol("indexedLabel")
        .fit(trainingDataDataframe);

OneHotEncoder encoder = new OneHotEncoder()
        .setInputCol("features")
        .setOutputCol("featuresVec");
Dataset<Row> encoded = encoder.transform(trainingDataDataframe);

VectorIndexerModel featureIndexer = new VectorIndexer()
        .setInputCol("featuresVec")
        .setOutputCol("indexedFeatures")
        .setMaxCategories(maxCategories)
        .fit(encoded);

StringIndexerModel featureIndexer = new StringIndexer()
        .setInputCol("features")
        .setOutputCol("indexedFeatures")
        .fit(encoded);

RandomForestClassifier rf = new RandomForestClassifier();
        .setNumTrees(numTrees);
        .setFeatureSubsetStrategy(featureSubsetStrategy);
        .setImpurity(impurity);
        .setMaxDepth(maxDepth);
        .setMaxBins(maxBins);
        .setSeed(seed)
        .setLabelCol("indexedLabel")
        .setFeaturesCol("indexedFeatures");

IndexToString labelConverter = new IndexToString()
        .setInputCol("prediction")
        .setOutputCol("predictedLabel")
        .setLabels(labelIndexer.labels());

Pipeline pipeline = new Pipeline()
        .setStages(new PipelineStage[] {labelIndexer, featureIndexer, rf, labelConverter});

PipelineModel model = pipeline.fit(encoded);

Answer 1

随机森林与决策树一样，不需要 One Hot 编码来管理分类特征，它是为数不多的可以本地管理分类特征的技术之一（也就是说，无需转换为二进制特征，即是一个热编码的目的）。

同时处理连续特征和分类特征的最简单方法是正确设置maxCategories参数。当您训练森林时，每个特征的不同值都将被计算在内，训练数据中不同值少于 maxCategories 的列将被视为分类。

您可以通过打印 tree/forest 和 toDebugString 来检查特征是否分类。如果它是绝对的，你会看到类似 if feature0 in {0,1,2} 而不是通常的 <=.

Answer 2

我找到了解决问题的方法。我将 Spark MlLib 的版本升级到了 2.3.0。在这个版本中，他们包含了一个名为 OneHotEncoderEstimator 的 class。它具有所有分类列（双精度）的输入并输出相应的向量。

然后我使用 VectorAssembler class 将所有特征（数值和分类）统一到一个向量中，然后发送到 RandomForestClassifier。

Spark MlLib 中的分类和数值特征 (Java)

Categorical and numerical features in Spark MlLib (Java)

apache-spark

apache-spark-mllib