Murmur3 散列 Python 和 Java 实现之间的不同结果

Question

我有两个不同的程序希望分别在 Python 和 Java 中使用 Murmur3 散列相同的字符串。

Python 版本 2.7.9:

mmh3.hash128('abc')

给出 79267961763742113019008347020647561319L。

Java 是 Guava 18.0:

HashCode hashCode = Hashing.murmur3_128().newHasher().putString("abc", StandardCharsets.UTF_8).hash();

给出字符串“6778ad3f3f3f96b4522dca264174a23b”，转换为 BigInterger 给出 137537073056680613988840834069010096699。

如何从两者得到相同的结果？

谢谢

Answer 1

以下是获得相同结果的方法：

byte[] mm3_le = Hashing.murmur3_128().hashString("abc", UTF_8).asBytes();
byte[] mm3_be = Bytes.toArray(Lists.reverse(Bytes.asList(mm3_le)));
assertEquals("79267961763742113019008347020647561319",
    new BigInteger(mm3_be).toString());

散列码的字节需要被视为小端，但BigInteger将字节解释为大端。您可能使用 new BigInteger(hex, 16) 来创建 BigInteger，但 HashCode.toString() 的输出实际上是一系列十六进制数字对，它们以与 [= 返回的顺序相同的顺序表示哈希字节=15=]（小端）。（您也可以反转这些十六进制数对以获得传递给 new BigInteger(reversedHex, 16) 时产生相同结果的十六进制数）。

我认为 toString() 的文档有点令人困惑，因为它引用 "big endian" 的方式；它实际上并不意味着该方法的输出是表示解释为大端字节序的字节的十六进制数。

我们有一个开放的 issue 用于将 asBigInteger() 添加到 HashCode。

Answer 2

如果有人对反向答案感兴趣，请将 python 输出转换为 Java 输出：

import mmh3
import string

char_array = '0123456789abcdef'
mumrmur = mmh3.hash_bytes('abc')

result = [f'{string.hexdigits[(char >> 4) & 0xf]}{string.hexdigits[char & 0xf]}' for char in mumrmur]
print(''.join(result))

Murmur3 散列 Python 和 Java 实现之间的不同结果

Murmur3 hash different result between Python and Java implementation

java

python

guava

murmurhash