R、statmodels、sklearn 与逻辑回归分类任务的比较
Comparison of R, statmodels, sklearn for a classification task with logistic regression
我在 R、python statmodels 和 sklearn 中用逻辑回归做了一些实验。虽然 R 和 statmodels 给出的结果一致，但与 sklearn 返回的结果存在一些差异。我想了解为什么这些结果不同。
我理解大概是木下用的优化算法不一样
具体来说，我使用标准 Default 数据集（在 ISL book 中使用）。以下 Python 代码将数据读入数据帧 Default。
import pandas as pd
# data is available here
Default = pd.read_csv('https://d1pqsl2386xqi9.cloudfront.net/notebooks/Default.csv', index_col=0)
#
Default['default']=Default['default'].map({'No':0, 'Yes':1})
Default['student']=Default['student'].map({'No':0, 'Yes':1})
#
I=Default['default']==0
print("Number of 'default' values :", Default[~I]['balance'].count())
'default' 个值的数量：333。
总共有10000个例子，只有333个正例
R 中的逻辑回归
我使用以下
library("ISLR")
data(Default,package='ISLR')
#write.csv(Default,"default.csv")
glm.out=glm('default~balance+income+student', family=binomial, data=Default)
s=summary(glm.out)
print(s)
#
glm.probs=predict(glm.out,type="response")
glm.probs[1:5]
glm.pred=ifelse(glm.probs>0.5,"Yes","No")
#attach(Default)
t=table(glm.pred,Default$default)
print(t)
score=mean(glm.pred==Default$default)
print(paste("score",score))
结果如下
Call: glm(formula = "default~balance+income+student", family =
binomial,
data = Default)
Deviance Residuals:
Min 1Q Median 3Q Max
-2.4691 -0.1418 -0.0557 -0.0203 3.7383
Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) -1.087e+01 4.923e-01 -22.080 < 2e-16
balance 5.737e-03 2.319e-04 24.738 < 2e-16
income 3.033e-06 8.203e-06 0.370 0.71152
studentYes -6.468e-01 2.363e-01 -2.738 0.00619
(Dispersion parameter for binomial family taken to be 1)
Null deviance: 2920.6 on 9999 degrees of freedom Residual
deviance: 1571.5 on 9996 degrees of freedom AIC: 1579.5
Number of Fisher Scoring iterations: 8
glm.pred No Yes
No 9627 228
Yes 40 105
1 "score 0.9732"
我懒得剪切和粘贴使用 statmodels 获得的结果。可以说它们与R给出的非常相似。
sklearn
对于sklearn，我运行下面的代码。
- 有一个参数class_weight用于考虑不平衡类。我测试了 class_weight=None（没有加权——我认为这是 R 中的默认设置）和 class_weight='auto'（用数据中发现的逆频率加权）
- 我还设置了C=10000，正则化参数的倒数，以最小化正则化的影响。
~~
import sklearn
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import confusion_matrix
features = Default[[ 'balance', 'income' ]]
target = Default['default']
#
for weight in (None, 'auto'):
print("*"*40+"\nweight:",weight)
classifier = LogisticRegression(C=10000, class_weight=weight, random_state=42)
#C=10000 ~ no regularization
classifier.fit(features, target,) #fit classifier on whole base
print("Intercept", classifier.intercept_)
print("Coefficients", classifier.coef_)
y_true=target
y_pred_cls=classifier.predict_proba(features)[:,1]>0.5
C=confusion_matrix(y_true,y_pred_cls)
score=(C[0,0]+C[1,1])/(C[0,0]+C[1,1]+C[0,1]+C[1,0])
precision=(C[1,1])/(C[1,1]+C[0 ,1])
recall=(C[1,1])/(C[1,1]+C[1,0])
print("\n Confusion matrix")
print(C)
print()
print('{s:{c}<{n}}{num:2.4}'.format(s='Score',n=15,c='', num=score))
print('{s:{c}<{n}}{num:2.4}'.format(s='Precision',n=15,c='', num=precision))
print('{s:{c}<{n}}{num:2.4}'.format(s='Recall',n=15,c='', num=recall))
结果如下。
> ****************************************
>weight: None
>
>Intercept [ -1.94164126e-06]
>
>Coefficients [[ 0.00040756 -0.00012588]]
>
> Confusion matrix
>
> [[9664 3]
> [ 333 0]]
>
> Score 0.9664
> Precision 0.0
> Recall 0.0
>
> ****************************************
>weight: auto
>
>Intercept [-8.15376429]
>
>Coefficients
>[[ 5.67564834e-03 1.95253338e-05]]
>
> Confusion matrix
>
> [[8356 1311]
> [ 34 299]]
>
> Score 0.8655
> Precision 0.1857
> Recall 0.8979
我观察到 class_weight=None 的分数非常好，但 没有 正例被识别。准确率和召回率均为零。找到的系数 非常 小，尤其是截距。修改 C 不会改变任何事情。
对于 class_weight='auto' 情况似乎更好，但我的精度仍然很低（过多的正分类）。
同样，更改 C 也无济于事。如果我手动修改截距，我可以恢复 R 给出的结果。所以我怀疑这两种情况下截距的估计存在差异。由于这对三阈值的规范有影响（类似于脉动的重采样），这可以解释性能的差异。
但是，我欢迎任何关于在两种解决方案之间进行选择的建议，并有助于理解这些差异的根源。谢谢。
我 运行 遇到了类似的问题，结果 posting about it on /r/MachineLearning. It turns out the difference can be attributed to data standardization. Whatever approach scikit-learn is using to find the parameters of the model will yield better results if the data is standardized. scikit-learn has some documentation discussing preprocessing data (including standardization), which can be found here。
结果
Number of 'default' values : 333
Intercept: [-6.12556565]
Coefficients: [[ 2.73145133 0.27750788]]
Confusion matrix
[[9629 38]
[ 225 108]]
Score 0.9737
Precision 0.7397
Recall 0.3243
代码
# scikit-learn vs. R
#
import pandas as pd
import sklearn
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import confusion_matrix
from sklearn import preprocessing
# Data is available here.
Default = pd.read_csv('https://d1pqsl2386xqi9.cloudfront.net/notebooks/Default.csv', index_col = 0)
Default['default'] = Default['default'].map({'No':0, 'Yes':1})
Default['student'] = Default['student'].map({'No':0, 'Yes':1})
I = Default['default'] == 0
print("Number of 'default' values : {0}".format(Default[~I]['balance'].count()))
feats = ['balance', 'income']
Default[feats] = preprocessing.scale(Default[feats])
# C = 1e6 ~ no regularization.
classifier = LogisticRegression(C = 1e6, random_state = 42)
classifier.fit(Default[feats], Default['default']) #fit classifier on whole base
print("Intercept: {0}".format(classifier.intercept_))
print("Coefficients: {0}".format(classifier.coef_))
y_true = Default['default']
y_pred_cls = classifier.predict_proba(Default[feats])[:,1] > 0.5
confusion = confusion_matrix(y_true, y_pred_cls)
score = float((confusion[0, 0] + confusion[1, 1])) / float((confusion[0, 0] + confusion[1, 1] + confusion[0, 1] + confusion[1, 0]))
precision = float((confusion[1, 1])) / float((confusion[1, 1] + confusion[0, 1]))
recall = float((confusion[1, 1])) / float((confusion[1, 1] + confusion[1, 0]))
print("\nConfusion matrix")
print(confusion)
print('\n{s:{c}<{n}}{num:2.4}'.format(s = 'Score', n = 15, c = '', num = score))
print('{s:{c}<{n}}{num:2.4}'.format(s = 'Precision', n = 15, c = '', num = precision))
print('{s:{c}<{n}}{num:2.4}'.format(s = 'Recall', n = 15, c = '', num = recall))
虽然这个post是旧的，但我想给你一个解决方案。在您的 post 中，您将苹果与橙子进行比较。在您的 R 代码中，您在 "default" 上估计 "balance, income, and student"。在您的 Python 代码中，您仅在 "default" 上估算 "balance and income"。当然，您无法获得相同的估计值。
此外，差异不能归因于特征缩放，因为与 kmeans 相比，逻辑回归通常不需要它。
你设置高C是对的，这样就没有正则化了。如果您想获得与 R 中相同的输出，则必须将求解器更改为 "newton-cg"。不同的求解器可以给出不同的结果，但它们仍然会产生相同的 objective 值。只要你的求解器收敛，一切都会好起来的。
以下代码可提供与 R 和 Statsmodels 中相同的估算值：
import pandas as pd
from sklearn.linear_model import LogisticRegression
from patsy import dmatrices #
import numpy as np
# data is available here
Default = pd.read_csv('https://d1pqsl2386xqi9.cloudfront.net/notebooks/Default.csv', index_col=0)
#
Default['default']=Default['default'].map({'No':0, 'Yes':1})
Default['student']=Default['student'].map({'No':0, 'Yes':1})
# use dmatrices to get data frame for logistic regression
y, X = dmatrices('default ~ balance+income+C(student)',
Default,return_type="dataframe")
y = np.ravel(y)
# fit logistic regression
model = LogisticRegression(C = 1e6, fit_intercept=False, solver = "newton-cg", max_iter=10000000)
model = model.fit(X, y)
# examine the coefficients
pd.DataFrame(zip(X.columns, np.transpose(model.coef_)))
我在 R、python statmodels 和 sklearn 中用逻辑回归做了一些实验。虽然 R 和 statmodels 给出的结果一致，但与 sklearn 返回的结果存在一些差异。我想了解为什么这些结果不同。 我理解大概是木下用的优化算法不一样
具体来说，我使用标准 Default 数据集（在 ISL book 中使用）。以下 Python 代码将数据读入数据帧 Default。
import pandas as pd
# data is available here
Default = pd.read_csv('https://d1pqsl2386xqi9.cloudfront.net/notebooks/Default.csv', index_col=0)
#
Default['default']=Default['default'].map({'No':0, 'Yes':1})
Default['student']=Default['student'].map({'No':0, 'Yes':1})
#
I=Default['default']==0
print("Number of 'default' values :", Default[~I]['balance'].count())
'default' 个值的数量：333。
总共有10000个例子，只有333个正例
R 中的逻辑回归
我使用以下
library("ISLR")
data(Default,package='ISLR')
#write.csv(Default,"default.csv")
glm.out=glm('default~balance+income+student', family=binomial, data=Default)
s=summary(glm.out)
print(s)
#
glm.probs=predict(glm.out,type="response")
glm.probs[1:5]
glm.pred=ifelse(glm.probs>0.5,"Yes","No")
#attach(Default)
t=table(glm.pred,Default$default)
print(t)
score=mean(glm.pred==Default$default)
print(paste("score",score))
结果如下
Call: glm(formula = "default~balance+income+student", family = binomial, data = Default)
Deviance Residuals: Min 1Q Median 3Q Max
-2.4691 -0.1418 -0.0557 -0.0203 3.7383Coefficients:
Estimate Std. Error z value Pr(>|z|) (Intercept) -1.087e+01 4.923e-01 -22.080 < 2e-16 balance 5.737e-03 2.319e-04 24.738 < 2e-16 income 3.033e-06 8.203e-06 0.370 0.71152 studentYes -6.468e-01 2.363e-01 -2.738 0.00619(Dispersion parameter for binomial family taken to be 1)
Null deviance: 2920.6 on 9999 degrees of freedom Residualdeviance: 1571.5 on 9996 degrees of freedom AIC: 1579.5
Number of Fisher Scoring iterations: 8
glm.pred No Yes No 9627 228 Yes 40 1051 "score 0.9732"
我懒得剪切和粘贴使用 statmodels 获得的结果。可以说它们与R给出的非常相似。
sklearn
对于sklearn，我运行下面的代码。
- 有一个参数class_weight用于考虑不平衡类。我测试了 class_weight=None（没有加权——我认为这是 R 中的默认设置）和 class_weight='auto'（用数据中发现的逆频率加权）
- 我还设置了C=10000，正则化参数的倒数，以最小化正则化的影响。
~~
import sklearn
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import confusion_matrix
features = Default[[ 'balance', 'income' ]]
target = Default['default']
#
for weight in (None, 'auto'):
print("*"*40+"\nweight:",weight)
classifier = LogisticRegression(C=10000, class_weight=weight, random_state=42)
#C=10000 ~ no regularization
classifier.fit(features, target,) #fit classifier on whole base
print("Intercept", classifier.intercept_)
print("Coefficients", classifier.coef_)
y_true=target
y_pred_cls=classifier.predict_proba(features)[:,1]>0.5
C=confusion_matrix(y_true,y_pred_cls)
score=(C[0,0]+C[1,1])/(C[0,0]+C[1,1]+C[0,1]+C[1,0])
precision=(C[1,1])/(C[1,1]+C[0 ,1])
recall=(C[1,1])/(C[1,1]+C[1,0])
print("\n Confusion matrix")
print(C)
print()
print('{s:{c}<{n}}{num:2.4}'.format(s='Score',n=15,c='', num=score))
print('{s:{c}<{n}}{num:2.4}'.format(s='Precision',n=15,c='', num=precision))
print('{s:{c}<{n}}{num:2.4}'.format(s='Recall',n=15,c='', num=recall))
结果如下。
> ****************************************
>weight: None
>
>Intercept [ -1.94164126e-06]
>
>Coefficients [[ 0.00040756 -0.00012588]]
>
> Confusion matrix
>
> [[9664 3]
> [ 333 0]]
>
> Score 0.9664
> Precision 0.0
> Recall 0.0
>
> ****************************************
>weight: auto
>
>Intercept [-8.15376429]
>
>Coefficients
>[[ 5.67564834e-03 1.95253338e-05]]
>
> Confusion matrix
>
> [[8356 1311]
> [ 34 299]]
>
> Score 0.8655
> Precision 0.1857
> Recall 0.8979
我观察到 class_weight=None 的分数非常好，但 没有 正例被识别。准确率和召回率均为零。找到的系数 非常 小，尤其是截距。修改 C 不会改变任何事情。
对于 class_weight='auto' 情况似乎更好，但我的精度仍然很低（过多的正分类）。
同样，更改 C 也无济于事。如果我手动修改截距，我可以恢复 R 给出的结果。所以我怀疑这两种情况下截距的估计存在差异。由于这对三阈值的规范有影响（类似于脉动的重采样），这可以解释性能的差异。
但是，我欢迎任何关于在两种解决方案之间进行选择的建议，并有助于理解这些差异的根源。谢谢。
我 运行 遇到了类似的问题，结果 posting about it on /r/MachineLearning. It turns out the difference can be attributed to data standardization. Whatever approach scikit-learn is using to find the parameters of the model will yield better results if the data is standardized. scikit-learn has some documentation discussing preprocessing data (including standardization), which can be found here。
结果
Number of 'default' values : 333
Intercept: [-6.12556565]
Coefficients: [[ 2.73145133 0.27750788]]
Confusion matrix
[[9629 38]
[ 225 108]]
Score 0.9737
Precision 0.7397
Recall 0.3243
代码
# scikit-learn vs. R
#
import pandas as pd
import sklearn
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import confusion_matrix
from sklearn import preprocessing
# Data is available here.
Default = pd.read_csv('https://d1pqsl2386xqi9.cloudfront.net/notebooks/Default.csv', index_col = 0)
Default['default'] = Default['default'].map({'No':0, 'Yes':1})
Default['student'] = Default['student'].map({'No':0, 'Yes':1})
I = Default['default'] == 0
print("Number of 'default' values : {0}".format(Default[~I]['balance'].count()))
feats = ['balance', 'income']
Default[feats] = preprocessing.scale(Default[feats])
# C = 1e6 ~ no regularization.
classifier = LogisticRegression(C = 1e6, random_state = 42)
classifier.fit(Default[feats], Default['default']) #fit classifier on whole base
print("Intercept: {0}".format(classifier.intercept_))
print("Coefficients: {0}".format(classifier.coef_))
y_true = Default['default']
y_pred_cls = classifier.predict_proba(Default[feats])[:,1] > 0.5
confusion = confusion_matrix(y_true, y_pred_cls)
score = float((confusion[0, 0] + confusion[1, 1])) / float((confusion[0, 0] + confusion[1, 1] + confusion[0, 1] + confusion[1, 0]))
precision = float((confusion[1, 1])) / float((confusion[1, 1] + confusion[0, 1]))
recall = float((confusion[1, 1])) / float((confusion[1, 1] + confusion[1, 0]))
print("\nConfusion matrix")
print(confusion)
print('\n{s:{c}<{n}}{num:2.4}'.format(s = 'Score', n = 15, c = '', num = score))
print('{s:{c}<{n}}{num:2.4}'.format(s = 'Precision', n = 15, c = '', num = precision))
print('{s:{c}<{n}}{num:2.4}'.format(s = 'Recall', n = 15, c = '', num = recall))
虽然这个post是旧的，但我想给你一个解决方案。在您的 post 中，您将苹果与橙子进行比较。在您的 R 代码中，您在 "default" 上估计 "balance, income, and student"。在您的 Python 代码中，您仅在 "default" 上估算 "balance and income"。当然，您无法获得相同的估计值。 此外，差异不能归因于特征缩放，因为与 kmeans 相比，逻辑回归通常不需要它。
你设置高C是对的，这样就没有正则化了。如果您想获得与 R 中相同的输出，则必须将求解器更改为 "newton-cg"。不同的求解器可以给出不同的结果，但它们仍然会产生相同的 objective 值。只要你的求解器收敛，一切都会好起来的。
以下代码可提供与 R 和 Statsmodels 中相同的估算值：
import pandas as pd
from sklearn.linear_model import LogisticRegression
from patsy import dmatrices #
import numpy as np
# data is available here
Default = pd.read_csv('https://d1pqsl2386xqi9.cloudfront.net/notebooks/Default.csv', index_col=0)
#
Default['default']=Default['default'].map({'No':0, 'Yes':1})
Default['student']=Default['student'].map({'No':0, 'Yes':1})
# use dmatrices to get data frame for logistic regression
y, X = dmatrices('default ~ balance+income+C(student)',
Default,return_type="dataframe")
y = np.ravel(y)
# fit logistic regression
model = LogisticRegression(C = 1e6, fit_intercept=False, solver = "newton-cg", max_iter=10000000)
model = model.fit(X, y)
# examine the coefficients
pd.DataFrame(zip(X.columns, np.transpose(model.coef_)))