如何将 base2 对数应用于 Spark 中 Int 的 RDD?
How to apply base2 logarithm to an RDD of Ints in Spark?
将 log2 应用于我的数字 RDD 的正确方法是什么?是否有功能可以帮助解决这个问题?
RDD:
import org.apache.commons.math.util.MathUtils
val rdd: RDD[Double] = ???
rdd.map(x => MathUtils.log(2.0, x))
数据帧:
import org.apache.spark.sql.functions.log2
rdd.toDF("value").select(log2("value"))
将 log2 应用于我的数字 RDD 的正确方法是什么?是否有功能可以帮助解决这个问题?
RDD:
import org.apache.commons.math.util.MathUtils
val rdd: RDD[Double] = ???
rdd.map(x => MathUtils.log(2.0, x))
数据帧:
import org.apache.spark.sql.functions.log2
rdd.toDF("value").select(log2("value"))