处理过多的零
Deal with excessive number of zeros
ipdb> np.count_nonzero(test==0) / len(ytrue) * 100
76.44815766923736
我有一个计算 24000 价格的数据文件，我将它们用于时间序列预测问题。我没有尝试预测价格，而是尝试预测 log-return，即 log(P_t/P_P{t-1})。我已将 log-return 应用于价格以及所有功能。预测还不错，但趋势预测往往为零。正如您在上面看到的，~76% 的数据是零。
现在的想法大概是"look up for a zero-inflated estimator : first predict whether it's gonna be a zero; if not, predict the value"。
具体来说，处理过多零的完美方法是什么？零膨胀估算器如何帮助我解决这个问题？请注意，我最初不是概率论者。
P.S. 我正在尝试预测 log-return，其中单位为 "seconds" 用于高频交易研究.注意是回归问题（不是分类问题）
更新
那张图片可能是我对日志的最佳预测-return，即 log(P_t/P_{t-1})。虽然还不错，但剩下的预测往往预测为零。正如您在上面的问题中看到的那样，零太多了。我在功能内部可能也有同样的问题，因为我也在功能上使用 log-return，即如果 F 是一个特定的功能，那么我应用 log(F_t/F_{t-1}).
这是一天的数据，log_return_with_features.pkl，形状为 (23369, 30, 161)。对不起，但我不知道有什么特点。当我在所有特征和目标（即价格）上应用 log(F_t/F_{t-1}) 时，请注意我在应用 log-[=44 之前向所有特征添加了 1e-8 =] 操作以避免除以 0.
好的，从你的情节来看：这是数据的性质，价格并没有经常变化。
尝试对您的原始数据进行一些子采样（也许是 5 倍，只需查看数据），这样您通常会看到每个时间点的价格变动。这应该会使任何建模变得更容易 MUCH。
对于子采样：我建议您在时域中进行简单的常规下采样。因此，如果您有第二个分辨率的价格数据（即每秒一个价格标签），那么只需取每五个数据点。然后像往常一样继续，具体来说，根据这个二次抽样数据计算价格的对数增长。请记住，无论您做什么，都必须在测试时间内可重现。
如果出于某种原因这不是您的选择，请查看可以处理多个时间尺度的东西，例如WaveNet or Clockwork RNN.
ipdb> np.count_nonzero(test==0) / len(ytrue) * 100
76.44815766923736
我有一个计算 24000 价格的数据文件，我将它们用于时间序列预测问题。我没有尝试预测价格，而是尝试预测 log-return，即 log(P_t/P_P{t-1})。我已将 log-return 应用于价格以及所有功能。预测还不错，但趋势预测往往为零。正如您在上面看到的，~76% 的数据是零。
现在的想法大概是"look up for a zero-inflated estimator : first predict whether it's gonna be a zero; if not, predict the value"。
具体来说，处理过多零的完美方法是什么？零膨胀估算器如何帮助我解决这个问题？请注意，我最初不是概率论者。
P.S. 我正在尝试预测 log-return，其中单位为 "seconds" 用于高频交易研究.注意是回归问题（不是分类问题）
更新
那张图片可能是我对日志的最佳预测-return，即 log(P_t/P_{t-1})。虽然还不错，但剩下的预测往往预测为零。正如您在上面的问题中看到的那样，零太多了。我在功能内部可能也有同样的问题，因为我也在功能上使用 log-return，即如果 F 是一个特定的功能，那么我应用 log(F_t/F_{t-1}).
这是一天的数据，log_return_with_features.pkl，形状为 (23369, 30, 161)。对不起，但我不知道有什么特点。当我在所有特征和目标（即价格）上应用 log(F_t/F_{t-1}) 时，请注意我在应用 log-[=44 之前向所有特征添加了 1e-8 =] 操作以避免除以 0.
好的，从你的情节来看：这是数据的性质，价格并没有经常变化。
尝试对您的原始数据进行一些子采样（也许是 5 倍，只需查看数据），这样您通常会看到每个时间点的价格变动。这应该会使任何建模变得更容易 MUCH。
对于子采样：我建议您在时域中进行简单的常规下采样。因此，如果您有第二个分辨率的价格数据（即每秒一个价格标签），那么只需取每五个数据点。然后像往常一样继续，具体来说，根据这个二次抽样数据计算价格的对数增长。请记住，无论您做什么，都必须在测试时间内可重现。
如果出于某种原因这不是您的选择，请查看可以处理多个时间尺度的东西，例如WaveNet or Clockwork RNN.