为什么 std::unordered_set 的 std::hash 函数不区分大小写？

Question

我的问题不是关于使用不区分大小写的 std::unordered_set，而是它是如何工作的？

#include "stdafx.h"
#include <string>
#include <iostream>
#include <unordered_set>
#include "boost/algorithm/string.hpp"


struct case_insensitive_comparer
{
    bool operator () (const std::string& x, const std::string& y) const
    {
        return boost::iequals(x, y);
    }
};

using case_insensitive_set = std::unordered_set<std::string, std::hash<std::string>, case_insensitive_comparer>;

std::vector<std::string> permute_case(const std::string& s)
{
    std::vector<std::string> strs;

    // Iterate through all bitmasks, 1 for uppercase, 0 for lowercase
    int msb = 1 << (s.length() - 1);
    int upper = 1 << s.length();
    std::locale loc;
    for (int i = 0; i < upper; i++)
    {
        int bit = msb;
        std::string current = "";
        for (size_t j = 0; j < s.length(); j++, bit >>= 1)
            current += (bit & i) ? std::toupper(s[j], loc) : std::tolower(s[j], loc);

        strs.push_back(current);
    }

    return strs;
}

int main()
{
    std::vector<std::string> strs = permute_case("awesome");

    case_insensitive_set set(strs.begin(), strs.end());

    // Check the hash
    for (auto& s : strs)
        std::cout << s << " :" << std::hash<std::string>()(s) << "\n";

    // Check the element
    for (auto& s : set)
        std::cout << s << "\n";

    return 0;
}

所以我对 std::unordered_set 和 std::hash<std::string> 使用字符串不区分大小写的比较器作为哈希函数。我对哈希集的基本理解（我假设 unordered_set 就像一个哈希集）是它计算键的哈希值，如果它不存在则将其放入集合中。而比较器 Pred 用于当集合试图插入一个键并且存在哈希冲突时，它必须决定键是否相同。

根据代码，无论如何它都能工作，所以我的一些假设是不正确的。如果有人告诉我我的哪些假设是错误的，那将会很有帮助。

谢谢。

编辑：我对这种不区分大小写的期望 unordered_set 应该只插入 1 个键，这是我观察到的情况，即只显示 AWESOME。因此，对于我的情况，我认为它有效，但根据 kennytm 的回答，我真的很幸运，将所有密钥都放在同一个桶中。我确实使用 MSVC 来编译代码。

Answer 1

问题是您有一个区分大小写的散列器和一个不区分大小写的比较器。如果您使散列器不区分大小写，那么您只会得到一个条目。

例如：

#include <boost/algorithm/string/case_conv.hpp>

struct case_insensitive_hasher
{
  size_t operator()(const std::string& key) const
    {
      std::string keyCopy(key);
      boost::to_lower(keyCopy);
        return std::hash<std::string>()(keyCopy);
    }
};

using case_insensitive_set = std::unordered_set<std::string, case_insensitive_hasher, case_insensitive_comparer>;

输出将只包含插入的第一个条目 AWESOME。

Answer 2

让我们回顾一下 hash table 是如何工作的。

容量为 N 的散列 table 是一个桶数组。桶通常是链表或二叉搜索树。从概念上讲，您可能会将散列 table 视为

template <typename T>
class HashTable {
    std::vector<std::forward_list<T>> _buckets;

public:
    HashTable(size_t capacity = 16) : _buckets(capacity) {}
    size_t bucket_count() const { return _buckets.size(); }

每个键k∈T都可以插入到哈希table的桶中。选择哪个桶，由函数 bucket_index 决定，该函数采用键 k 和容量 N 作为输入，并产生一个数组索引 0 ≤ i < N，键应该属于哪个桶。

    void insert(T&& key) {
        // locate the bucket.
        size_t i = bucket_index(key, bucket_count());
        auto& bucket = _buckets[i];
        // ensure the key does not already exist in the bucket
        if (std::find(bucket.cbegin(), bucket.cend(), key) == bucket.cend()) {
            // now insert the key into the bucket.
            bucket.push_front(std::move(key));
        }
    }

bucket_index函数一般是根据哈希函数实现的，然后与容量取模：
```
private:
    static size_t bucket_index(const T& key, size_t cap) {
        return std::hash<T>()(key) % cap;
    }
};
```
请注意，它不直接使用 std::hash<T>()(key)：只要 hash % cap 相等，两个键将引用同一个存储桶。

这就是为什么 OP 的代码似乎可以在 MSVC 上运行。在MSVC的实现unordered_set中，初始容量是8。然后，如果你 print the hash as hexadecimal，你会注意到最后一位数字总是 c:

AWESOME :7552acc94fd16a5c
AWESOMe :75528cc94fd133fc
AWESOmE :75bf6cc9502dcf7c
AWESOme :75bf8cc9502e05dc
AWESoME :60234cc8b2d194fc
...
awesOme :976734d757ba79dc
awesoME :81caf4d6ba5e08fc
awesoMe :81cb14d6ba5e3f5c
awesomE :815e34d6ba01a3dc
awesome :815e14d6ba016d7c

因此，hash % 8 将始终是 4，即所有 128 个密钥将选择八个中的相同桶。还记得我们选择一个桶后会发生什么吗？我们检查一个键是否已经存在于链表中，它总是为真，所以只有第一个键 "AWESOME" 会出现。

AWESOME

这给人一种只替换 == 就可以工作的错觉，而实际发生的只是 MSVC 的哈希函数质量很差.

为了进一步显示 OP 的代码 "does not work"，让我们切换到另一个标准库。将 clang 与 libc++ 一起使用时，我们得到以下结果：

AWESOME :1a285ecfc4bab378
AWESOMe :acb9b7f4f69b16e2
AWESOmE :fd66d9186a434601
AWESOme :254b008bd66d1e29
AWESoME :27cac8154bb934d0
...
awesOme :a4e8c2140834341e
awesoME :cfd12a83da4a4b0f
awesoMe :b4c4eb4c60968581
awesomE :bdca27cd606f4f42
awesome :14ddc089ab5badb5

与 MSVC 的哈希不同，libc++ 的哈希分布相当均匀。 libc++的unordered_set初始容量为2，两个桶都被填满，所以集合有两个元素：

AWESOmE
AWESOME

并且 OP 的代码通常不起作用。

注意： 这里我假设散列冲突是由单独的链处理的，并且没有动态调整大小，尽管这两者都不会出现，因为 ==总是returnstrue.

为什么 std::unordered_set 的 std::hash 函数不区分大小写？

Why does case insensitive work with std::hash function for std::unordered_set?

c++

unordered-set

c++11