begins_with 和 DynamoDB 中的二进制列的奇怪行为

Question

总结

使用 begins_with 查询二进制范围键时，有些结果不会返回，即使它们以被查询的值开头。这似乎只发生在某些值上，并且只发生在 DynamoDB-local - 而不是 DynamoDB 的 AWS 托管版本。

这里是您可以运行重现问题的要点：https://gist.github.com/pbaughman/922db7b51f7f82bbd9634949d71f846b

详情

我有一个具有以下架构的 DynamoDB table：

user_id - Primary Key - binary - Contains 16 byte UUID
project_id_item_id - Sort Key - binary - 32 bytes - two UUIDs concatinated

虽然运行使用 dynamodb-local docker image 在本地进行我的单元测试，但我观察到一些奇怪的行为

我已经在我的 table 中插入了 20 个项目，如下所示：

table.put_item(
    Item={
        'user_id': user_id.bytes,
        'project_id_item_id': project_id.bytes + item_id.bytes
    }
)

每个项目有相同的 user_id 和相同的 project_id 有不同的 item_id。

当我尝试查询相同的数据时，有时（可能是我运行测试的 5 次中的 1 次）我只返回了一些项目：

table.query(
    KeyConditionExpression=
        Key('user_id').eq(user_id.bytes) &
        Key('project_id_item_id').begins_with(project_id.bytes))
)
# Only returns 14 items

如果我从 KeyConditionExpression 中删除第二个条件，我将获得所有 20 个项目。

如果我运行扫描而不是查询并使用相同的条件表达式，我会得到所有 20 个项目

table.scan(
    FilterExpression=
        Key('user_id').eq(user_id.bytes) &
        Key('project_id_item_id').begins_with(project_id.bytes))
)
# 20 items are returned

如果我打印 table 中每个项目的 project_id_item_id，我可以看到它们都以相同的 project_id:

开头

[i['project_id_item_id'].value.hex() for i in table.scan()['Items']]

# Result:
  |---------Project Id-----------|
['76761923aeba4edf9fccb9eeb5f80cc40604481b26c84c73b63308dd588a4df1',
 '76761923aeba4edf9fccb9eeb5f80cc40ec926452c294c909befa772b86e2175',
 '76761923aeba4edf9fccb9eeb5f80cc460ff943b36ec44518175525d6eb30480',
 '76761923aeba4edf9fccb9eeb5f80cc464e427afe84d49a5b3f890f9d25ee73b',
 '76761923aeba4edf9fccb9eeb5f80cc466f3bfd77b14479a8977d91af1a5fa01',
 '76761923aeba4edf9fccb9eeb5f80cc46cd5b7dec9514714918449f8b49cbe4e',
 '76761923aeba4edf9fccb9eeb5f80cc47d89f44aae584c1c9da475392cb0a085',
 '76761923aeba4edf9fccb9eeb5f80cc495f85af4d1f142608fae72e23f54cbfb',
 '76761923aeba4edf9fccb9eeb5f80cc496374432375a498b937dec3177d95c1a',
 '76761923aeba4edf9fccb9eeb5f80cc49eba93584f964d13b09fdd7866a5e382',
 '76761923aeba4edf9fccb9eeb5f80cc4a6086f1362224115b7376bc5a5ce66b8',
 '76761923aeba4edf9fccb9eeb5f80cc4b5c6872aa1a84994b6f694666288b446',
 '76761923aeba4edf9fccb9eeb5f80cc4be07cd547d804be4973041cfd1529734',
 '76761923aeba4edf9fccb9eeb5f80cc4c48daab011c449f993f061da3746a660',
 '76761923aeba4edf9fccb9eeb5f80cc4d09bc44973654f39b95a91eb3e291c68',
 '76761923aeba4edf9fccb9eeb5f80cc4d0edda3d8c6643ad8e93afe2f1b518d4',
 '76761923aeba4edf9fccb9eeb5f80cc4d8d1f6f4a85e47d78e2d06ec1938ee2a',
 '76761923aeba4edf9fccb9eeb5f80cc4dc7323adfa35423fba15f77facb9a41b',
 '76761923aeba4edf9fccb9eeb5f80cc4f948fb40873b425aa644f220cdcb5d4b',
 '76761923aeba4edf9fccb9eeb5f80cc4fc7f0583f593454d92a8a266a93c6fcd']

作为完整性检查，这是我在查询中使用的 project_id：

print(project_id)
76761923-aeba-4edf-9fcc-b9eeb5f80cc4  # Matches what's returned by scan above

最后，最奇怪的部分是我可以尝试匹配更少的项目 ID 字节，然后我开始看到所有 20 个项目，然后是零个项目，然后再次看到所有 20 个项目：

hash_key = Key('hash_key').eq(hash_key)
for n in range(1,17):
    short_key = project_id.bytes[:n]
    range_key = Key('project_id_item_id').begins_with(short_key)
    count = table.query(KeyConditionExpression=hash_key & range_key)['Count']
    print("If I only query for 0x{:32} I find {} items".format(short_key.hex(), count))

得到我：

If I only query for 0x76                               I find 20 items
If I only query for 0x7676                             I find 20 items
If I only query for 0x767619                           I find 20 items
If I only query for 0x76761923                         I find 20 items
If I only query for 0x76761923ae                       I find 20 items
If I only query for 0x76761923aeba                     I find 20 items
If I only query for 0x76761923aeba4e                   I find 20 items
If I only query for 0x76761923aeba4edf                 I find 0 items
If I only query for 0x76761923aeba4edf9f               I find 20 items
If I only query for 0x76761923aeba4edf9fcc             I find 0 items
If I only query for 0x76761923aeba4edf9fccb9           I find 20 items
If I only query for 0x76761923aeba4edf9fccb9ee         I find 0 items
If I only query for 0x76761923aeba4edf9fccb9eeb5       I find 20 items
If I only query for 0x76761923aeba4edf9fccb9eeb5f8     I find 20 items
If I only query for 0x76761923aeba4edf9fccb9eeb5f80c   I find 20 items
If I only query for 0x76761923aeba4edf9fccb9eeb5f80cc4 I find 15 items

我被这个模式完全傻眼了。如果我要搜索的范围键的长度为 8、10 或 12 个字节，则我找不到任何匹配项。如果它是 16 个字节长，我得到少于 20 个但多于 0 个匹配项。

有人知道这里会发生什么吗？ The documentation 表示 begins_with 表达式适用于二进制数据。我完全不知道出了什么问题。我想知道 DynamoDB-local 是否正在做一些事情，比如在内部将二进制数据转换为字符串来进行比较，而其中一些二进制模式没有正确转换。

似乎与 project_id UUID 有关。如果我在测试中将它硬编码为 76761923-aeba-4edf-9fcc-b9eeb5f80cc4，我可以让它每次都错过项目。

Answer 1

这可能是一个 six year old bug in DynamoDB local 如果有人有更多见解，我会保留这个问题，如果我能够从亚马逊找到更多信息，我会更新这个答案。

编辑： 截至 6 月 23 日，他们已成功重现该问题，并且该问题正在等待在未来的版本中修复。

第二次编辑：自 8 月 4 日起，他们正在调查此问题并将很快发布修复程序

begins_with 和 DynamoDB 中的二进制列的奇怪行为

Odd behavior with begins_with and a binary column in DynamoDB

python

amazon-dynamodb

boto3

amazon-dynamodb-local

总结

详情