逻辑回归为什么叫回归?
Why is logistic regression called regression?
据我了解,线性回归预测的结果可以是连续值,而逻辑回归预测的结果是离散的。在我看来,逻辑回归类似于分类问题。那么,为什么叫回归?
还有一个相关问题:What is the difference between linear regression and logistic regression?
线性回归和逻辑回归之间存在严格的link。
对于线性回归,您正在寻找 ki 个参数:
h = k0 + Σ ki ˙ Xi = Kt ˙ X
使用逻辑回归,你有相同的目标,但等式是:
h = g(Kt ˙ X)
其中 g
是 sigmoid function:
g(w) = 1 / (1 + e-w)
所以:
h = 1 / (1 + e-Kt ˙ X)
并且您需要使 K 适合您的数据。
假设一个二元分类问题,输出h
是样本x
在分类任务中是正匹配的估计概率:
P(Y = 1) = 1 / (1 + e-Kt ˙ X)
当概率大于0.5那么我们可以预测"a match".
概率大于0.5时:
g(w) > 0.5
在以下情况下为真:
w = Kt ˙ X ≥ 0
超平面:
Kt ˙ X = 0
是决策边界。
总结:
- 逻辑回归是一种广义线性模型,使用与线性回归相同的基本公式,但它是 regressing 分类结果的概率。
这是一个非常精简的版本。您可以在 these videos(Andrew Ng 的 机器学习 第三周)中找到简单的解释。
您还可以查看 http://www.holehouse.org/mlclass/06_Logistic_Regression.html 以获取有关课程的一些注释。
逻辑回归属于监督类别 learning.It 通过使用 logistic/sigmoid 函数估计概率来衡量分类因变量与一个或多个自变量之间的关系。
逻辑回归有点类似于线性回归,或者我们可以将其视为广义线性模型。
在线性回归中,我们根据输入变量的加权和预测输出 y。
y=c+ x1*w1 + x2*w2 + x3*w3 + .....+ xn*wn
线性回归的主要目的是估计 c,w1,w2,...,wn 的值并最小化成本函数并预测 y。
逻辑回归也做同样的事情,但增加了一个。它通过一个名为 logistic/sigmoid 的特殊函数传递结果,从而产生输出 y.
y=逻辑(c + x1*w1 + x2*w2 + x3*w3 + ....+ xn*wn)
y=1/1+e[-(c + x1*w1 + x2*w2 + x3*w3 + ....+ xn*wn)]
如前所述,逻辑回归是一种广义线性模型,使用与线性回归相同的基本公式,但它针对分类结果的概率进行回归。
如您所见,我们得到了线性回归和逻辑回归的类似类型的方程。
区别在于,线性回归给出给定 x 的 y 的连续值,其中逻辑回归也给出给定 x 的 p(y=1) 的连续值,稍后根据阈值 (0.5) 转换为 y=0 或 y=1 ).
据我了解,线性回归预测的结果可以是连续值,而逻辑回归预测的结果是离散的。在我看来,逻辑回归类似于分类问题。那么,为什么叫回归?
还有一个相关问题:What is the difference between linear regression and logistic regression?
线性回归和逻辑回归之间存在严格的link。
对于线性回归,您正在寻找 ki 个参数:
h = k0 + Σ ki ˙ Xi = Kt ˙ X
使用逻辑回归,你有相同的目标,但等式是:
h = g(Kt ˙ X)
其中 g
是 sigmoid function:
g(w) = 1 / (1 + e-w)
所以:
h = 1 / (1 + e-Kt ˙ X)
并且您需要使 K 适合您的数据。
假设一个二元分类问题,输出h
是样本x
在分类任务中是正匹配的估计概率:
P(Y = 1) = 1 / (1 + e-Kt ˙ X)
当概率大于0.5那么我们可以预测"a match".
概率大于0.5时:
g(w) > 0.5
在以下情况下为真:
w = Kt ˙ X ≥ 0
超平面:
Kt ˙ X = 0
是决策边界。
总结:
- 逻辑回归是一种广义线性模型,使用与线性回归相同的基本公式,但它是 regressing 分类结果的概率。
这是一个非常精简的版本。您可以在 these videos(Andrew Ng 的 机器学习 第三周)中找到简单的解释。
您还可以查看 http://www.holehouse.org/mlclass/06_Logistic_Regression.html 以获取有关课程的一些注释。
逻辑回归属于监督类别 learning.It 通过使用 logistic/sigmoid 函数估计概率来衡量分类因变量与一个或多个自变量之间的关系。 逻辑回归有点类似于线性回归,或者我们可以将其视为广义线性模型。 在线性回归中,我们根据输入变量的加权和预测输出 y。
y=c+ x1*w1 + x2*w2 + x3*w3 + .....+ xn*wn
线性回归的主要目的是估计 c,w1,w2,...,wn 的值并最小化成本函数并预测 y。
逻辑回归也做同样的事情,但增加了一个。它通过一个名为 logistic/sigmoid 的特殊函数传递结果,从而产生输出 y.
y=逻辑(c + x1*w1 + x2*w2 + x3*w3 + ....+ xn*wn)
y=1/1+e[-(c + x1*w1 + x2*w2 + x3*w3 + ....+ xn*wn)]
如前所述,逻辑回归是一种广义线性模型,使用与线性回归相同的基本公式,但它针对分类结果的概率进行回归。
如您所见,我们得到了线性回归和逻辑回归的类似类型的方程。 区别在于,线性回归给出给定 x 的 y 的连续值,其中逻辑回归也给出给定 x 的 p(y=1) 的连续值,稍后根据阈值 (0.5) 转换为 y=0 或 y=1 ).