如何获得 sklearn 中逻辑回归模型的对数似然？

Question

我在 sklearn 中使用逻辑回归模型，我有兴趣检索这种模型的对数似然，因此按照建议执行普通似然比检验 here。

该模型使用 log loss 作为评分规则。在文档中，对数损失定义为 "as the negative log-likelihood of the true labels given a probabilistic classifier’s predictions"。但是，该值始终为正，而对数似然应该为负。例如：

from sklearn.linear_model import LogisticRegression
from sklearn.metrics import log_loss

lr = LogisticRegression()
lr.fit(X_train, y_train)
y_prob = lr.predict_proba(X_test)
log_loss(y_test, y_prob)    # 0.66738

我在该模型的文档中没有看到任何方法，还有其他我目前不知道的可能性吗？

Answer 1

仔细阅读；对数损失是 negative 对数似然。由于对数似然确实如您所说为负数，因此其负数将是正数。

让我们看一个带有虚拟数据的例子：

from sklearn.metrics import log_loss
import numpy as np

y_true = np.array([0, 1, 1])
y_pred = np.array([0.1, 0.2, 0.9])

log_loss(y_true, y_pred)
# 0.60671964791658428

现在，让我们手动计算对数似然元素（即每个标签预测对一个值），使用您链接到的没有减号的 scikit-learn 文档中给出的公式：

log_likelihood_elements = y_true*np.log(y_pred) + (1-y_true)*np.log(1-y_pred)
log_likelihood_elements
# array([-0.10536052, -1.60943791, -0.10536052])

现在，给定对数似然元素（确实是负数），对数损失是它们总和的负数除以样本数：

-np.sum(log_likelihood_elements)/len(y_true)
# 0.60671964791658428

log_loss(y_true, y_pred) == -np.sum(log_likelihood_elements)/len(y_true)
# True

Answer 2

要获得对数似然，您可以计算：

-log_loss(y_true, y_pred)*len(y_true)

如何获得 sklearn 中逻辑回归模型的对数似然？

how to get the log likelihood for a logistic regression model in sklearn?

math

machine-learning

scikit-learn

logistic-regression

log-likelihood