逻辑回归为什么叫回归?

Why is logistic regression called regression?

据我了解,线性回归预测的结果可以是连续值,而逻辑回归预测的结果是离散的。在我看来,逻辑回归类似于分类问题。那么,为什么叫回归

还有一个相关问题:What is the difference between linear regression and logistic regression?

线性回归和逻辑回归之间存在严格的link。

对于线性回归,您正在寻找 ki 个参数:

h = k0 + Σ ki ˙ Xi = Kt ˙ X

使用逻辑回归,你有相同的目标,但等式是:

h = g(Kt ˙ X)

其中 gsigmoid function:

g(w) = 1 / (1 + e-w)

所以:

h = 1 / (1 + e-Kt ˙ X)

并且您需要使 K 适合您的数据。

假设一个二元分类问题,输出h是样本x在分类任务中是正匹配的估计概率:

P(Y = 1) = 1 / (1 + e-Kt ˙ X)

当概率大于0.5那么我们可以预测"a match".

概率大于0.5时:

g(w) > 0.5

在以下情况下为真:

w = Kt ˙ X ≥ 0

超平面:

Kt ˙ X = 0

是决策边界。

总结:

  • 逻辑回归是一种广义线性模型,使用与线性回归相同的基本公式,但它是 regressing 分类结果的概率。

这是一个非常精简的版本。您可以在 these videos(Andrew Ng 的 机器学习 第三周)中找到简单的解释。

您还可以查看 http://www.holehouse.org/mlclass/06_Logistic_Regression.html 以获取有关课程的一些注释。

逻辑回归属于监督类别 learning.It 通过使用 logistic/sigmoid 函数估计概率来衡量分类因变量与一个或多个自变量之间的关系。 逻辑回归有点类似于线性回归,或者我们可以将其视为广义线性模型。 在线性回归中,我们根据输入变量的加权和预测输出 y。

y=c+ x1*w1 + x2*w2 + x3*w3 + .....+ xn*wn

线性回归的主要目的是估计 c,w1,w2,...,wn 的值并最小化成本函数并预测 y。

逻辑回归也做同样的事情,但增加了一个。它通过一个名为 logistic/sigmoid 的特殊函数传递结果,从而产生输出 y.

y=逻辑(c + x1*w1 + x2*w2 + x3*w3 + ....+ xn*wn)

y=1/1+e[-(c + x1*w1 + x2*w2 + x3*w3 + ....+ xn*wn)]

如前所述,逻辑回归是一种广义线性模型,使用与线性回归相同的基本公式,但它针对分类结果的概率进行回归。

如您所见,我们得到了线性回归和逻辑回归的类似类型的方程。 区别在于,线性回归给出给定 x 的 y 的连续值,其中逻辑回归也给出给定 x 的 p(y=1) 的连续值,稍后根据阈值 (0.5) 转换为 y=0 或 y=1 ).