学习算法在线性回归中输出什么?

What does learning algorithm output in linear regression?

阅读 Andrew NG 的机器学习课程的课程笔记,它指出线性回归:

获取训练集并将其传递到学习算法中。该算法输出函数 h(假设)。 h接受输入并尝试输出估计值y。

然后继续说:

将 h 表示为:h theta(x) = theta0 + theta1x

这是否意味着hyptohesis不是学习算法输出的,而是我们只是将其定义为h theta(x) = theta0 + theta1x

而不是 "Take a training set and pass it into a learning algorithm. The algorithm outputs a function h (the hypothesis)." 语句应该是 "Take a training set and pass it into a learning algorithm. The algorithm outputs value(s) which make the hypothesis as accurate as possible" ?

对于线性回归的情况,您希望学习算法输出线性函数。

即h(x) = theta0 + theta1x。

在这种情况下,学习算法会学习最佳的 theta0 和 theta1 以适合您的训练数据。

如果您希望学习算法学习 3 次多项式,则学习模型的输出将为 a、b、c 和 d 这样

h(x) = ax3 + bx2 + cx + d

但是你的断言是正确的,学习算法会选择最佳参数来最小化错误函数的成本。通常这是平方误差 + 一些正则化因子。

原则上你就在这里。学习理论中定义的真实 learning algorithm 是一种算法,它获取标记实例和整个 class 可能的假设作为输入,然后选择一个假设作为输出。

所以严格来说,输出预测的算法不是学习算法。但是当然,这样的算法可以拆分为学习算法 - 实际上 learns 参数的算法,这里是 thetas。以及将一些输入实例转换为我们的预测然后返回给调用者的预测算法。