Elasticsearch zScore 计算（合并 2 个具有不同分数分布的文档集合）
Elasticsearch zScore Calculation (merging 2 document collections with different score distributions)
使用 Elasticsearch / Elastic，我想合并 n 个文档集合并按 zScore（或任何标准化分数）对它们进行排序。
详情:
合并 2..n 个文档集合，每个文档都有一个不同范围的分数字段（例如 0-100,0-10000, 0-57, ...），然后合并所有文档并使用 zScore对合并后的 table.
进行排序
我目前的计划：
- 为了能够比较这些文档集合的分数，我想通过计算 zScore（标准分数）来标准化每个分数
- 为此，获取每个文档集合的所有分值，计算均值和标准差，最后计算 zScore。
- 按 zScore 对合并的 table 进行排序。
问题
这种方法有意义吗？
我可以在一个 elasticsearch 查询（脚本分数）中执行此操作吗？换句话说，我可以先查询所有分数然后计算 zScore 吗？
有谁知道合并和排序具有不同分数范围的文档集合的其他方法吗？
谢谢！
示例分布
- Google Spreadsheet
参考资料
我总是告诉我的学生，"which method is best" 的答案几乎总是以 "it depends" 开头。我将把计算 Z 分数的机制放在一边；在此处、ES 文档或在线其他地方查找很容易。
最佳的归一化方法取决于原始分布，以及您需要保留的属性。 Z 分数与高斯分布高度一致，前提是分布是对称的并且 s.d。与 "relatively smooth" 分布有关。
此外，Z 分数非常有效，因为您可以对任何有序的指标进行计算。转换保留了顺序、连续性和各种其他拓扑和数学属性。
另一方面...
考虑一下泊松分布，mu = sd = 1。您可以无限制地获得正 Z 分数； +1 到 +3 范围内的那些已经足够常见了。另一方面，Z 分数低于 -1 是不可能的，尽管从那里到 0 的范围足够大。如果这不是您想要表示的，请考虑另一种方法。
类似地，考虑模式为 +1 和 -1 的双正态分布，mu=0，sd = 2。Z 分数在 -0.5 和 +0.5 附近会有集群，在 0 时相对较少。
也就是说，一个重要的考虑因素是您要合并的分布是否具有相似的形状。如果是这样，那么您选择的缩放变换无关紧要，只要您可以使用合并的 Z 分数，或者变换是可逆的：您可以 "unpack" 生成的 Z 分数来恢复原始分布形状。
如果您使用 Z 分数合并一组泊松分布，您将很容易将它们解压成一个组合泊松分布。如果你用 Gaussians 试试这个，你也会得到很好的结果。但是，如果您合并一组具有截然不同纹理的双正态分布（关注 Z=0 附近的谷深度），您可能会把合并弄得过大；您希望尽可能多地关注模式，也许调整 Z 分数，使模式在每个转换中落在 -1 和 +1。
如果您有不同的分布，还要考虑每个分布中的观测值数量。如果您有 10,000 个来自泊松分布的观测值和 100 个来自教科书正态分布的观测值，则合并结果将消除正态分布。
这些不同形状分布的问题，但合并到相同的space，应该是使用 Z 分数的唯一问题。如果您正在合并此类分布，那么请给我们更多详细信息，因为合并方法将取决于我在此处提到的一些注意事项。
这些根本不是 normal 发行版。这些似乎是指数几何族中的东西。但是，同属一个家庭使他们成为合并的好人选。
但是，形状的差异使它们成为通过 z 分数合并的不佳候选者：均值对最大的少数元素过于敏感。相反，我建议您对每个数字（任何基数）取对数，然后将 那些 值转换为 z 分数。要恢复组合形状，请将选定的基数 (2, 10, e) 提高到 z 分数的幂。如果您不喜欢这些微小的值，只需将所有值乘以一个选定的比例因子——也许足以恢复一个或另一个原始分布的实际值。
这是旧的 post，我有类似的要求，我们采用相同的方法。 Elasticsearch 没有这个功能，所以我创建了一个小的，它使用 min-max 或 z-score normalizer 对弹性搜索返回的分数进行归一化。
使用 Elasticsearch / Elastic，我想合并 n 个文档集合并按 zScore（或任何标准化分数）对它们进行排序。
详情:
合并 2..n 个文档集合，每个文档都有一个不同范围的分数字段（例如 0-100,0-10000, 0-57, ...），然后合并所有文档并使用 zScore对合并后的 table.
进行排序我目前的计划：
- 为了能够比较这些文档集合的分数，我想通过计算 zScore（标准分数）来标准化每个分数
- 为此，获取每个文档集合的所有分值，计算均值和标准差，最后计算 zScore。
- 按 zScore 对合并的 table 进行排序。
问题
这种方法有意义吗？
我可以在一个 elasticsearch 查询（脚本分数）中执行此操作吗？换句话说，我可以先查询所有分数然后计算 zScore 吗？
有谁知道合并和排序具有不同分数范围的文档集合的其他方法吗？
谢谢！
示例分布 - Google Spreadsheet
参考资料
我总是告诉我的学生，"which method is best" 的答案几乎总是以 "it depends" 开头。我将把计算 Z 分数的机制放在一边；在此处、ES 文档或在线其他地方查找很容易。
最佳的归一化方法取决于原始分布，以及您需要保留的属性。 Z 分数与高斯分布高度一致，前提是分布是对称的并且 s.d。与 "relatively smooth" 分布有关。
此外，Z 分数非常有效，因为您可以对任何有序的指标进行计算。转换保留了顺序、连续性和各种其他拓扑和数学属性。
另一方面...
考虑一下泊松分布，mu = sd = 1。您可以无限制地获得正 Z 分数； +1 到 +3 范围内的那些已经足够常见了。另一方面，Z 分数低于 -1 是不可能的，尽管从那里到 0 的范围足够大。如果这不是您想要表示的，请考虑另一种方法。
类似地，考虑模式为 +1 和 -1 的双正态分布，mu=0，sd = 2。Z 分数在 -0.5 和 +0.5 附近会有集群，在 0 时相对较少。
也就是说，一个重要的考虑因素是您要合并的分布是否具有相似的形状。如果是这样，那么您选择的缩放变换无关紧要，只要您可以使用合并的 Z 分数，或者变换是可逆的：您可以 "unpack" 生成的 Z 分数来恢复原始分布形状。
如果您使用 Z 分数合并一组泊松分布，您将很容易将它们解压成一个组合泊松分布。如果你用 Gaussians 试试这个，你也会得到很好的结果。但是，如果您合并一组具有截然不同纹理的双正态分布（关注 Z=0 附近的谷深度），您可能会把合并弄得过大；您希望尽可能多地关注模式，也许调整 Z 分数，使模式在每个转换中落在 -1 和 +1。
如果您有不同的分布，还要考虑每个分布中的观测值数量。如果您有 10,000 个来自泊松分布的观测值和 100 个来自教科书正态分布的观测值，则合并结果将消除正态分布。
这些不同形状分布的问题，但合并到相同的space，应该是使用 Z 分数的唯一问题。如果您正在合并此类分布，那么请给我们更多详细信息，因为合并方法将取决于我在此处提到的一些注意事项。
这些根本不是 normal 发行版。这些似乎是指数几何族中的东西。但是，同属一个家庭使他们成为合并的好人选。
但是，形状的差异使它们成为通过 z 分数合并的不佳候选者：均值对最大的少数元素过于敏感。相反，我建议您对每个数字（任何基数）取对数，然后将 那些 值转换为 z 分数。要恢复组合形状，请将选定的基数 (2, 10, e) 提高到 z 分数的幂。如果您不喜欢这些微小的值，只需将所有值乘以一个选定的比例因子——也许足以恢复一个或另一个原始分布的实际值。
这是旧的 post，我有类似的要求，我们采用相同的方法。 Elasticsearch 没有这个功能，所以我创建了一个小的，它使用 min-max 或 z-score normalizer 对弹性搜索返回的分数进行归一化。