根据 p 值和皮尔逊相关性评估预测
evaluate forecast by the terms of p-value and pearson correlation
我正在使用 R 对两种不同的预测模型进行一些评估。评估的基本思想是使用 cor.() 函数比较 Pearson 相关性及其对应的 p 值。下图显示了相关系数及其 p 值的最终结果。
我们建议具有较低相关系数和相应较低 p 值（小于 0,05）的模型更好（或者，相关系数较高但相应 p 值相当高）。
所以，在这种情况下，总的来说，我们会说 model1 比 model2 好。
但这里的问题是，有没有其他具体的统计方法来量化比较？
非常感谢！！！
假设您在调用 "forecast" 后处理时间序列数据。我认为您真正需要的是对您的预测模型进行回测。来自 Ruey S. Tsay 的 "An Introduction to Analysis of Financial Data with R"，您可能想看看他的 backtest.R 函数。
backtest(m1,rt,orig,h,xre=NULL,fixed=NULL,inc.mean=TRUE)
# m1: is a time-series model object
# orig: is the starting forecast origin
# rt: the time series
# xre: the independent variables
# h: forecast horizon
# fixed: parameter constriant
# inc.mean: flag for constant term of the model.
回溯测试可以让您了解您的模型对过去数据的表现如何，Tsay 的 backtest.R 提供 RMSE 和 Mean-Absolute-Error，这将为您提供相关性之外的另一个视角。 注意 根据数据的大小和模型的复杂性，这可能是一个非常慢的 运行 测试。
要比较模型，您通常会查看 RMSE，它本质上是模型误差的标准偏差。两者直接可比，越小越好
更好的替代方法是在构建模型之前设置训练、测试和验证 集。如果您在相同的训练/测试数据上训练两个模型，您可以将它们与您的验证集（您的模型从未见过）进行比较，以更准确地衡量模型的性能指标。
最后一个替代方案，如果您有一个 "cost" 与不准确的预测相关联，请将这些成本应用于您的预测并将它们相加。如果一个模型在更昂贵的数据段上表现不佳，您可能希望避免使用它。
作为 side-note，您对 p 值的解释是越小越好，还有一点 [desired] quite right。
P values address only one question: how likely are your data, assuming a true null hypothesis? It does not measure support for the alternative hypothesis.
我正在使用 R 对两种不同的预测模型进行一些评估。评估的基本思想是使用 cor.() 函数比较 Pearson 相关性及其对应的 p 值。下图显示了相关系数及其 p 值的最终结果。
我们建议具有较低相关系数和相应较低 p 值（小于 0,05）的模型更好（或者，相关系数较高但相应 p 值相当高）。 所以，在这种情况下，总的来说，我们会说 model1 比 model2 好。 但这里的问题是，有没有其他具体的统计方法来量化比较？
非常感谢！！！
假设您在调用 "forecast" 后处理时间序列数据。我认为您真正需要的是对您的预测模型进行回测。来自 Ruey S. Tsay 的 "An Introduction to Analysis of Financial Data with R"，您可能想看看他的 backtest.R 函数。
backtest(m1,rt,orig,h,xre=NULL,fixed=NULL,inc.mean=TRUE)
# m1: is a time-series model object
# orig: is the starting forecast origin
# rt: the time series
# xre: the independent variables
# h: forecast horizon
# fixed: parameter constriant
# inc.mean: flag for constant term of the model.
回溯测试可以让您了解您的模型对过去数据的表现如何，Tsay 的 backtest.R 提供 RMSE 和 Mean-Absolute-Error，这将为您提供相关性之外的另一个视角。 注意 根据数据的大小和模型的复杂性，这可能是一个非常慢的 运行 测试。
要比较模型，您通常会查看 RMSE，它本质上是模型误差的标准偏差。两者直接可比，越小越好
更好的替代方法是在构建模型之前设置训练、测试和验证 集。如果您在相同的训练/测试数据上训练两个模型，您可以将它们与您的验证集（您的模型从未见过）进行比较，以更准确地衡量模型的性能指标。
最后一个替代方案，如果您有一个 "cost" 与不准确的预测相关联，请将这些成本应用于您的预测并将它们相加。如果一个模型在更昂贵的数据段上表现不佳，您可能希望避免使用它。
作为 side-note，您对 p 值的解释是越小越好，还有一点 [desired] quite right。
P values address only one question: how likely are your data, assuming a true null hypothesis? It does not measure support for the alternative hypothesis.