如果使用正态分布的目标值进行训练,非线性回归算法会表现得更好吗?

Will non-linear regression algorithms perform better if trained with normally distributed target values?

在了解了许多可以应用于数据集目标值(y 列)的变换(例如 box-cox 变换)后,我了解到线性回归模型需要使用正态分布的目标值进行训练为了有效率。(https://stats.stackexchange.com/questions/298/in-linear-regression-when-is-it-appropriate-to-use-the-log-of-an-independent-va)

我想知道这是否同样适用于非线性回归算法。目前,我已经看到 kaggle 上的人们通过使用 xgboost 使用对数转换来减轻异方差性,但他们从未提及是否也正在这样做以获得正态分布的目标值。

我试着做了一些研究,我在第 11 页的 Andrew Ng 的讲义 (http://cs229.stanford.edu/notes/cs229-notes1.pdf) 中发现,导出了许多线性和非线性算法使用的最小二乘成本函数通过假设错误的正态分布。我相信如果错误应该是正态分布的,那么目标值也应该是正态分布的。 如果这是真的,那么所有使用最小二乘成本函数的回归算法应该更好地处理正态分布的目标值。

由于 xgboost 使用最小二乘成本函数进行节点拆分(http://cilvr.cs.nyu.edu/diglib/lsml/lecture03-trees-boosting.pdf - 幻灯片 13),那么如果我使用 box-cox 转换来转换目标值来训练模型然后应用,那么这个算法可能会更好地工作对输出进行逆 box-cox 变换以获得预测值。 这样理论上会得到更好的结果吗?

我不知道这是什么意思:“线性回归模型需要使用正态分布的目标值进行训练才能有效。”效率如何?

线性回归模型是全局模型。它们只是将表面拟合到整体数据。这些操作是矩阵操作,因此“训练”模型的时间仅取决于数据的大小。目标的分布与模型构建性能无关。而且,它也与模型评分性能无关。

因为目标通常不是正态分布,我当然希望机器学习算法不需要这样的分布就可以有效地工作。

你的猜想"I believe if the error should be normally distributed then the target values should be as well."是完全错误的。所以你的问题根本没有任何答案,因为它不是一个有效的问题。

根本没有假设目标变量是正常的。

对目标变量进行变换并不意味着误差是正态分布的。事实上,这可能会破坏常态。