有没有可以训练有序数据的机器学习回归算法？

Question

我有一个函数 f(x): R^n --> R（抱歉，这里有 LaTeX 的方法吗？），我想构建一个估计 f(x) 的机器学习算法对于任何输入点 x，基于训练数据集中的一堆样本 xs。如果我知道训练数据中每个 x 的 f(x) 值，这应该很简单 - 只需进行回归，或取附近点的加权平均值，或其他任何方法。

但是，这不是我的训练数据的样子。相反，我有一堆点对 (x, y)，我知道每对点的 f(x) - f(y) 的值，但我不知道 f(x) 的绝对值任何特定的 x。似乎应该有一种方法可以使用这些数据来找到 f(x) 的近似值，但在谷歌搜索后我没有找到任何东西；有像 this 这样的论文，但他们似乎假设训练数据以每个实体的一组离散标签的形式出现，而不是在成对的实体上添加标签。

这只是编造的东西，但我可以尝试对 f'(x) 进行核密度估计，然后进行积分以获得 f(x) 吗？还是那太疯狂了，或者是否有更好的技术？

Answer 1

我看不到获得绝对结果的方法。函数中的任何常量 (f(x) = g(x) + c) 都会消失，就像常量在积分中消失一样。

Answer 2

您可以假设 f 是线性的，这会简化事情 - 如果 f 是线性的，我们知道：

f(x-y) = f(x) - f(y)

例如，假设您假设 f(x) = ，使 w 成为您要学习的参数。每个样本 (x,y) 的平方损失和已知差异 d 看起来如何？

loss((x,y), d) = (f(x)-f(y) - d)^2
               = (<w,x> - <w,y> - d)^2
               = (<w, x-y> - d)^2
               = (<w, z> - d)^2 // where z:=x-y

这只是 z=x-y 的平方损失

实际上，您需要为每对构建 z=x-y，然后使用线性回归对输入 z 和输出 d 学习 f。

此模型可能无法满足您的需求，但它可能是您应该首先尝试的。否则，一旦偏离线性假设，您可能会遇到困难的非凸优化问题。

有没有可以训练有序数据的机器学习回归算法？

Are there any machine learning regression algorithms that can train on ordinal data?

regression

machine-learning