基于 100 的权重的 Elasticsearch 随机选择

Question

我运行宁 Rails 网站几年了，一些文章是根据权重字段从数据库中提取的。数据结构为：

{name: 'Content Piece 1', weight: 50}
{name: 'Content Piece 2', weight: 25}
{name: 'Content Piece 3', weight: 25}

我原来写的Ruby代码是这样的：

choices = []
sum = articles.inject(0.0) { |sum, article|
  sum += listing['weight']
}
pick = rand(sum)
choices << articles.detect { |listing|
  if pick <= listing['weight']
    true
  else
    pick -= listing['weight']
    false
  end
}

这在提取每个内容块和尊重重量方面效果很好。运行在数据集中将此代码运行 100 次后，我多次根据权重很好地分配了内容片段：

100.times do
  choices = []
  sum = articles.inject(0.0) { |sum, article|
    sum += listing['weight']
  }
  pick = rand(sum)
  choices << articles.detect { |listing|
    if pick <= listing['weight']
      true
    else
      pick -= listing['weight']
      false
    end
  }
end

{:total_runs=>100, "Content Piece 1"=>51, "Content Piece 2"=>22, "Content Piece 3"=>27}
{:total_runs=>100, "Content Piece 1"=>53, "Content Piece 2"=>30, "Content Piece 3"=>17}

我现在开始更频繁地使用 ElasticSearch，我希望我可以在 ES 中索引数据并根据权重提取内容。

我找到了一个 SO post 谈论非常相似的东西可以在这里找到：

我已提取搜索查询并更改它以匹配我的数据结构：

{
  "sort": ["_score"],
  "size": 1, 
  "query": {
    "function_score": {
      "functions": [
        {
          "random_score": {}
        },
        {
          "field_value_factor": {
            "field": "weight",
            "modifier": "none",
            "missing": 0
          }
        }
      ],
      "score_mode": "multiply",
      "boost_mode": "replace"
    }
  }
}

此查询确实尊重权重，提取的权重为 50 的内容块比其他 2 个权重为 25 的内容块多得多，但它不会从总共 100 个内容中分发内容重量，如果这有意义的话。我运行此查询 100 次并得到如下结果：

{:total_runs=>100, "Content Piece 1"=>70, "Content Piece 2"=>22, "Content Piece 3"=>8}
{:total_runs=>100, "Content Piece 1"=>81, "Content Piece 2"=>7, "Content Piece 3"=>12}
{:total_runs=>100, "Content Piece 1"=>90, "Content Piece 2"=>3, "Content Piece 3"=>7}

由于我是 ES 的新手，并且仍在学习查询、评分等的来龙去脉，我想知道是否有人可以提供解决方案来更模仿我编写的 Ruby 代码以更有效地分发内容基于 100 分的权重。Painless 脚本是否可以移植 Ruby 代码？

我希望这是有道理的，如果您有任何其他问题可以帮助解释我正在努力实现的目标，请告诉我。谢谢！

Answer 1

您的 elasticsearch 查询是正确的，您不需要脚本来执行您想要的操作。这只是概率问题。简而言之，将权重 50 的乘数（即 field_value_factor）替换为 40，权重 25 的乘数替换为 30，您将得到预期的结果。

基本上，问题在于将随机值乘以权重不会产生权重为乘数的加权分布。乘数可以从权重推导出来，但是有不一样的。

我可以举个例子说明你的情况。对于权重 50，如果随机值在 0.5 以上，则其分数必然最高（0.5 * 50 >= 1 * 25）。由于值为 0.5 的概率为 50%，因此您现在可以肯定，重量为 50 的项目至少有一半的时间会被退回。

但即使权重50的随机值低于0.5，它仍然可以被选中。事实上，在这种情况下它被选中的概率是 1/3。

我对你的结果有点惊讶，因为它的概率应该更接近 66%（即 50% + 50%/3），而其他概率应该在 16.5% 左右。也许尝试增加运行次数以确保。

使用 `script_score`

的任何权重的解决方案

您不需要使用此解决方案计算乘数，但您必须为每个文档提供一个范围，例如 min_value 和 max_value。 max_value是min_value和文档权重之和，min_value是前面文档权重的累加和

例如，如果您有 4 个权重分别为 5、15、30、50 的文档，则范围可以是：

权重为 5 的文档：min_value = 0，max_value = 5
权重为 15 的文档：min_value = 5，max_value = 5+15 = 20
权重为 30 的文档：min_value = 20，max_value = 20+30 = 50
权重为 30 的文档：min_value = 50，max_value = 50+50 = 100

对应的elasticsearch查询为

{
  "sort": ["_score"],
  "size": 1, 
  "query": {
    "function_score": {
      "functions": [
        {
          "script_score": {
               "script" : {
                    "params": {
                        "random": <RANDOM_VALUE>,
                    },
                    "source": "params.random >= doc['min_value'].value && params.random < doc['max_value'].value ? 1 : 0"
                }
          }
        }
      ],
      "score_mode": "multiply",
      "boost_mode": "replace"
    }
  }
}

应该为每个请求计算查询中的 random 参数，并且必须介于 0 和所有权重的总和之间（在您的情况下为 100，但不一定是）。

此方法的问题在于，如果您更改权重，则必须更新 所有文档 的范围，因为累积总和会发生变化。如果您最多有 20 个文档并且不经常更新权重，这应该不是问题。

基于 100 的权重的 Elasticsearch 随机选择

Elasticsearch random selection based on weighting out of 100

random

weighted

elasticsearch

使用 `script_score`

基于 100 的权重的 Elasticsearch 随机选择

Elasticsearch random selection based on weighting out of 100

random

weighted

elasticsearch

使用 script_score

使用 `script_score`