用于逻辑回归的 PySpark mllib p 值
PySpark mllib p-values for logistic regression
我目前 运行 使用 ML-Lib 包（Spark 版本 2.1）在 PySpark 中进行逻辑回归。为了理解系数并检查它们的统计显着性，我想调查相应的 p 值。
有什么方法可以使用 ML-Lib 包获取 p 值吗？
您可以使用 ML 库中的广义线性回归包来接收逻辑回归的 p 值：
from pyspark.ml.regression import GeneralizedLinearRegression
glr = GeneralizedLinearRegression(family="binomial", link="logit", maxIter=10,
regParam=0.0)
model = glr.fit(dataset)
summary = model.summary
print("Coefficient Standard Errors: " + str(summary.coefficientStandardErrors))
print("T Values: " + str(summary.tValues))
print("P Values: " + str(summary.pValues))
你可以在这里找到详细的解释：https://spark.apache.org/docs/2.2.0/ml-classification-regression.html#generalized-linear-regression
请记住数据帧的特征值（以及矩阵可逆性的条件）以接收标准误差（以及 P 值），因为在这种情况下包会为您提供误差。
我目前 运行 使用 ML-Lib 包（Spark 版本 2.1）在 PySpark 中进行逻辑回归。为了理解系数并检查它们的统计显着性，我想调查相应的 p 值。
有什么方法可以使用 ML-Lib 包获取 p 值吗？
您可以使用 ML 库中的广义线性回归包来接收逻辑回归的 p 值：
from pyspark.ml.regression import GeneralizedLinearRegression
glr = GeneralizedLinearRegression(family="binomial", link="logit", maxIter=10,
regParam=0.0)
model = glr.fit(dataset)
summary = model.summary
print("Coefficient Standard Errors: " + str(summary.coefficientStandardErrors))
print("T Values: " + str(summary.tValues))
print("P Values: " + str(summary.pValues))
你可以在这里找到详细的解释：https://spark.apache.org/docs/2.2.0/ml-classification-regression.html#generalized-linear-regression
请记住数据帧的特征值（以及矩阵可逆性的条件）以接收标准误差（以及 P 值），因为在这种情况下包会为您提供误差。