使用低频数据校准高频数据
Using low frequency data to calibrate high frequency data
我有一个由快速仪器测量的 10 赫兹时间序列和一个由慢速参考仪器测量的 1 分钟时间序列。数据由一个波动的气象参数组成。慢参考仪器用于校准快速仪器测量。两个时间序列是同步的。
我的想法：
将 10 Hz 数据平均为 1 分钟块。
从每个时间序列中抽取 5 个一分钟的块并计算线性回归方程。
使用回归方程以 5 分钟为单位校准 10 Hz 数据（3000 个数据点）。
使用低频数据匹配（校准）高频数据的最佳方法是什么？我使用 MATLAB。
更多背景：快速仪器输出波动电压信号，而慢速仪器输出以ppb（十亿分之一）为单位的痕量气体浓度真实值。慢速仪器每十秒采样一次，每分钟输出一次平均值。
简而言之，我希望我的快速信号也以 ppb 为单位，但又不会失去它的完整性（我需要湍流波动保持未过滤），因此需要使用线性拟合。
这是我的方法和我得到的结果...
我将问题建模为
- 一个真实的（仪器未测量的）信号。
我们称之为
real.
- 慢速信号 - 这只是每分钟采样一次的真实信号。
我们称之为
lf（低频的缩写）。
- 快速信号 - 真实信号 + 噪声 + 信号漂移。
我们称之为
hf（高频的缩写）。
任务是获取慢信号和快信号并尝试重建真实信号。
（使用最小二乘法作为评分指标）
策略：
- 定义一个 "piecewise linear filter" - 这需要一个信号，returns 它的一个分段版本。 （每个分段部分都出现在测量慢信号的地方。）
- 注意：慢信号无论如何都被认为是分段的。
- 定义一个前向-后向低通滤波器。
- 在测量低频信号的点定义"uncertainty"为0。当时间戳在低频信号测量之间的中间时，它线性增加到 1。
- 现在，获取高频信号并使用低通滤波器对其进行过滤。
我们称之为
hf_lp
- 采用 hf_lp 并对其应用 "piecewise linear filter"。
我们称之为
hf_lp_pl
- 最后两个互相减去。
IE。
hf_diff = hf_lp - hf_lp_pl.
- 你现在想要找到一些函数来估计应该将多少
hf_diff 添加到低频信号 (lf) 使得 real_estimated 和 real_estimated 之间的平方误差real 已最小化。
我按照 real_estimated = lf + diff.*(a1*uncertainty + a2*uncertainty.^2 + a3*uncertainty.^3) 安装了一个函数
- 使用
fminsearch或其他优化技术得到a1、a2、a3...
这是我的结果的示例图 - 您可以看到 real_estimated 比慢信号 lf.
更接近 real
结束思考...
- 快速信号包含太多非常低的频率（漂移）和太多
非常高频（噪声）成分。
但它有有价值的中频信息。
- 慢信号有完美的低频信息，但没有中频信息。
- 上面的策略实际上只是从快速信号中提取中频并将其添加到低频信号的一种方法。
- 通过这种方式，我们获得了世界上最好的：低频、中频和低噪音。
我有一个由快速仪器测量的 10 赫兹时间序列和一个由慢速参考仪器测量的 1 分钟时间序列。数据由一个波动的气象参数组成。慢参考仪器用于校准快速仪器测量。两个时间序列是同步的。
我的想法：
将 10 Hz 数据平均为 1 分钟块。
从每个时间序列中抽取 5 个一分钟的块并计算线性回归方程。
使用回归方程以 5 分钟为单位校准 10 Hz 数据（3000 个数据点）。
使用低频数据匹配（校准）高频数据的最佳方法是什么？我使用 MATLAB。
更多背景：快速仪器输出波动电压信号，而慢速仪器输出以ppb（十亿分之一）为单位的痕量气体浓度真实值。慢速仪器每十秒采样一次，每分钟输出一次平均值。
简而言之，我希望我的快速信号也以 ppb 为单位，但又不会失去它的完整性（我需要湍流波动保持未过滤），因此需要使用线性拟合。
这是我的方法和我得到的结果...
我将问题建模为
- 一个真实的（仪器未测量的）信号。
我们称之为
real. - 慢速信号 - 这只是每分钟采样一次的真实信号。
我们称之为
lf（低频的缩写）。 - 快速信号 - 真实信号 + 噪声 + 信号漂移。
我们称之为
hf（高频的缩写）。
任务是获取慢信号和快信号并尝试重建真实信号。 （使用最小二乘法作为评分指标）
策略：
- 定义一个 "piecewise linear filter" - 这需要一个信号，returns 它的一个分段版本。 （每个分段部分都出现在测量慢信号的地方。）
- 注意：慢信号无论如何都被认为是分段的。
- 定义一个前向-后向低通滤波器。
- 在测量低频信号的点定义"uncertainty"为0。当时间戳在低频信号测量之间的中间时，它线性增加到 1。
- 现在，获取高频信号并使用低通滤波器对其进行过滤。
我们称之为
hf_lp - 采用 hf_lp 并对其应用 "piecewise linear filter"。
我们称之为
hf_lp_pl - 最后两个互相减去。
IE。
hf_diff = hf_lp - hf_lp_pl. - 你现在想要找到一些函数来估计应该将多少
hf_diff添加到低频信号 (lf) 使得real_estimated和real_estimated之间的平方误差real已最小化。 我按照real_estimated = lf + diff.*(a1*uncertainty + a2*uncertainty.^2 + a3*uncertainty.^3) 安装了一个函数
- 使用
fminsearch或其他优化技术得到a1、a2、a3...
这是我的结果的示例图 - 您可以看到 real_estimated 比慢信号 lf.
real
结束思考...
- 快速信号包含太多非常低的频率（漂移）和太多 非常高频（噪声）成分。 但它有有价值的中频信息。
- 慢信号有完美的低频信息，但没有中频信息。
- 上面的策略实际上只是从快速信号中提取中频并将其添加到低频信号的一种方法。
- 通过这种方式，我们获得了世界上最好的：低频、中频和低噪音。