如何在 Spark 中构建神经网络?
How to build Neural Network in Spark?
流程应该是:
输入 -> Word2Vectors -> 输出 -> 神经网络
我试过 spark 的 word2vec 函数,但我对 "MultilayerPerceptronClassifier" 需要作为输入的格式感到困惑?
当您定义 MultilayerPerceptronClassifier
时,您必须提供一个名为 layers
的 Array[Int]
作为参数。这些描述了该序列中每层的神经元数量。第一层的输入维度必须与 Word2Vec
输出维度的长度匹配。所以你应该将参数设置为
val layers = Array[Int](featureDim, 5, 4, 5, ...)
并将数字替换为您希望模型具有的参数。您应该将 featureDim
设置为您的 Word2VecModel
生成的向量的长度。不幸的是,具有该值的属性通过 private
访问器隐藏,并且目前还没有实现 getter 方法。
流程应该是:
输入 -> Word2Vectors -> 输出 -> 神经网络
我试过 spark 的 word2vec 函数,但我对 "MultilayerPerceptronClassifier" 需要作为输入的格式感到困惑?
当您定义 MultilayerPerceptronClassifier
时,您必须提供一个名为 layers
的 Array[Int]
作为参数。这些描述了该序列中每层的神经元数量。第一层的输入维度必须与 Word2Vec
输出维度的长度匹配。所以你应该将参数设置为
val layers = Array[Int](featureDim, 5, 4, 5, ...)
并将数字替换为您希望模型具有的参数。您应该将 featureDim
设置为您的 Word2VecModel
生成的向量的长度。不幸的是,具有该值的属性通过 private
访问器隐藏,并且目前还没有实现 getter 方法。