有没有一种方法可以执行与 Vespa 的加权元素相似度?
Is there a way of performing a weighted elementSimilarity with Vespa?
我在元素相似性方面处理多值查询项和字段时遇到问题。例如,如果我们有一个这样的字符串数组:
field colors type array<string>
# That might have several items like: "blue", "black and purple", "green", "yellow", etc
我想查询项目列表:
"blue" (weight 0.5), "black" (weight 1.0)
有没有一种方法可以执行加权列表相似度,如下所示:
权重 * elementSimilarity(颜色为蓝色)+ weight * elementSimilarity(颜色为黑色)?
我尝试了多种功能,包括 nativeRank,但根据查询数组和字段数组的长度,我得到的结果不一致。由于我还希望能够处理拼写错误,“blu”应该与“blue”有很高的匹配度——因此我更喜欢 elementSimilarity。我想我已经尝试了 vespa 中的大部分排名功能,但我还没有找到更好的方法来处理这个用例。
任何指导将不胜感激!谢谢!
编辑:
详细说明一下,也许 Vespa 对我的最大限制是查询中数组的处理方式。我非常想做这样的事情:
expression {
foreach(terms,N,query(colors,N).weight*elementSimilarity(query(colors,N)),true,sum)
}
有很多方法可以实现这一点,但最好的方法取决于您是否需要自由文本样式匹配(字符串的语言处理,包括标记化和词干提取)。它还取决于这是否只是已检索或用于检索文档的文档的排名信号。
如果您不需要自由文本样式匹配,而是可以使用无需语言学处理的精确匹配(例如使用固定词汇表),并且此颜色排名只是另一个排名信号,您应该考虑改用张量排名。张量可用于对查询运算符检索的文档进行排名,您不能使用张量进行检索(使用近似最近邻搜索的密集单阶张量除外)。请参阅张量指南 https://docs.vespa.ai/en/tensor-user-guide.html。
如果您需要自由文本样式匹配,也有几种方法。在下面的示例中,我假设您想要进行文本样式匹配,并且查询词 'purple' 应该与具有 'black and purple' 的文档匹配。请参阅匹配文档 https://docs.vespa.ai/en/reference/schema-reference.html#match
如果像这样定义字段颜色
field colors type weightedset<string>{
indexing: summary | index
match: text #This is default matching for string fields with 'index'
}
并提供文档
"colors": {
"blue":1,
"black and purple":1,
"green": 1,
"yellow": 1
}
您可以使用以下查询进行检索和排名
{
"yql": "select * from sources * where colors contains ([{\"weight\":1}]\"purple\") or colors contains ([{\"weight\":2}]\"yellow\");",
"ranking.profile": "color-ranking"
}
请参阅有关字词权重的查询语言参考
您可以通过多种方式对检索到的文档进行排名,但下面假设您使用颜色排名作为唯一的排名信号。
rank-profile color-ranking {
function colorMatch() {
expression: nativeDotProduct(colors)
}
first-phase {
expression: colorMatch()
}
}
此处我们使用 nativeDotProduct
排名功能,在我们的示例中将 return 3 (21 + 11)。 term weight 和 document weight 只能是整数,张量允许浮点数。
elementSimilarity
ranking 功能也是一个候选功能,它允许更大的灵活性,如果您想使用 max/sum 以及如何结合元素权重和查询词权重。
- https://docs.vespa.ai/documentation/reference/rank-features.html#elementSimilarity(name)
- https://docs.vespa.ai/documentation/reference/rank-feature-configuration.html#elementSimilarity
如果这只是一个排名信号,您还可以使用 rank
查询运算符
{
"yql": "select * from sources * where rank(foo contains "bar", colors contains ([{\"weight\":1}]\"purple\") or colors contains ([{\"weight\":2}]\"yellow\"));",
"ranking.profile": "color-ranking"
}
在上面的查询中,我们检索了一个名为 'foo' 的字段包含 'bar 的文档,并且对于这些文档,颜色字段被匹配并创建了排名特征(取决于排名配置文件中使用的特征)。
一般来说,查询是一种表达如何检索文档的方式,排名配置文件决定了您如何对检索到的文档进行排名。 rank
查询运算符是创建匹配(Q-D 交互)排名特征而不影响召回率的好方法。
还有其他更有效的方法,包括 wand 查询运算符,如果您想 检索 有效地使用查询和文档中某些内容之间的内点积。参见 https://docs.vespa.ai/en/using-wand-with-vespa.html
我在元素相似性方面处理多值查询项和字段时遇到问题。例如,如果我们有一个这样的字符串数组:
field colors type array<string>
# That might have several items like: "blue", "black and purple", "green", "yellow", etc
我想查询项目列表:
"blue" (weight 0.5), "black" (weight 1.0)
有没有一种方法可以执行加权列表相似度,如下所示: 权重 * elementSimilarity(颜色为蓝色)+ weight * elementSimilarity(颜色为黑色)?
我尝试了多种功能,包括 nativeRank,但根据查询数组和字段数组的长度,我得到的结果不一致。由于我还希望能够处理拼写错误,“blu”应该与“blue”有很高的匹配度——因此我更喜欢 elementSimilarity。我想我已经尝试了 vespa 中的大部分排名功能,但我还没有找到更好的方法来处理这个用例。
任何指导将不胜感激!谢谢!
编辑: 详细说明一下,也许 Vespa 对我的最大限制是查询中数组的处理方式。我非常想做这样的事情:
expression {
foreach(terms,N,query(colors,N).weight*elementSimilarity(query(colors,N)),true,sum)
}
有很多方法可以实现这一点,但最好的方法取决于您是否需要自由文本样式匹配(字符串的语言处理,包括标记化和词干提取)。它还取决于这是否只是已检索或用于检索文档的文档的排名信号。
如果您不需要自由文本样式匹配,而是可以使用无需语言学处理的精确匹配(例如使用固定词汇表),并且此颜色排名只是另一个排名信号,您应该考虑改用张量排名。张量可用于对查询运算符检索的文档进行排名,您不能使用张量进行检索(使用近似最近邻搜索的密集单阶张量除外)。请参阅张量指南 https://docs.vespa.ai/en/tensor-user-guide.html。
如果您需要自由文本样式匹配,也有几种方法。在下面的示例中,我假设您想要进行文本样式匹配,并且查询词 'purple' 应该与具有 'black and purple' 的文档匹配。请参阅匹配文档 https://docs.vespa.ai/en/reference/schema-reference.html#match
如果像这样定义字段颜色
field colors type weightedset<string>{
indexing: summary | index
match: text #This is default matching for string fields with 'index'
}
并提供文档
"colors": {
"blue":1,
"black and purple":1,
"green": 1,
"yellow": 1
}
您可以使用以下查询进行检索和排名
{
"yql": "select * from sources * where colors contains ([{\"weight\":1}]\"purple\") or colors contains ([{\"weight\":2}]\"yellow\");",
"ranking.profile": "color-ranking"
}
请参阅有关字词权重的查询语言参考
您可以通过多种方式对检索到的文档进行排名,但下面假设您使用颜色排名作为唯一的排名信号。
rank-profile color-ranking {
function colorMatch() {
expression: nativeDotProduct(colors)
}
first-phase {
expression: colorMatch()
}
}
此处我们使用 nativeDotProduct
排名功能,在我们的示例中将 return 3 (21 + 11)。 term weight 和 document weight 只能是整数,张量允许浮点数。
elementSimilarity
ranking 功能也是一个候选功能,它允许更大的灵活性,如果您想使用 max/sum 以及如何结合元素权重和查询词权重。
- https://docs.vespa.ai/documentation/reference/rank-features.html#elementSimilarity(name)
- https://docs.vespa.ai/documentation/reference/rank-feature-configuration.html#elementSimilarity
如果这只是一个排名信号,您还可以使用 rank
查询运算符
{
"yql": "select * from sources * where rank(foo contains "bar", colors contains ([{\"weight\":1}]\"purple\") or colors contains ([{\"weight\":2}]\"yellow\"));",
"ranking.profile": "color-ranking"
}
在上面的查询中,我们检索了一个名为 'foo' 的字段包含 'bar 的文档,并且对于这些文档,颜色字段被匹配并创建了排名特征(取决于排名配置文件中使用的特征)。
一般来说,查询是一种表达如何检索文档的方式,排名配置文件决定了您如何对检索到的文档进行排名。 rank
查询运算符是创建匹配(Q-D 交互)排名特征而不影响召回率的好方法。
还有其他更有效的方法,包括 wand 查询运算符,如果您想 检索 有效地使用查询和文档中某些内容之间的内点积。参见 https://docs.vespa.ai/en/using-wand-with-vespa.html