我自定义使用 std::unordered_map 的性能非常慢
Very slow performance of my custom use of std::unordered_map
我正在尝试将图表的一些信息存储在 unordered_map 中。每条边都有一些参数。有120条边,每条边有90*2个不同的参数。
我有以下 std::unordered_map<>
的实现
typedef std::tuple<int, int, int, int> metric_tuple_key; // metric tuple key
// define a hash function for this metric_tuple_key tuple
struct m_KeyHash : public std::unary_function<metric_tuple_key, std::size_t> {
std::size_t operator()(const metric_tuple_key& k) const {
// the magic operation below makes collisions less likely than just the standard XOR
std::size_t seed = std::hash<int>()(std::get<0>(k));
seed ^= std::hash<int>()(std::get<1>(k)) + 0x9e3779b9 + (seed << 6) + (seed >> 2);
seed ^= std::hash<int>()(std::get<2>(k)) + 0x9e3779b97f4a7c15 + (seed << 6) + (seed >> 2);
return seed ^ (std::hash<char>()(std::get<3>(k)) + 0x9e3779b9 + (seed << 6) + (seed >> 2));
}
};
// define the comparison operator for this metric_tuple_key tuple
struct m_KeyEqual : public std::binary_function<metric_tuple_key, metric_tuple_key, bool> {
bool operator()(const metric_tuple_key& v0, const metric_tuple_key& v1) const {
return (std::get<0>(v0) == std::get<0>(v1) && std::get<1>(v0) == std::get<1>(v1) &&
std::get<2>(v0) == std::get<2>(v1) && std::get<3>(v0) == std::get<3>(v1));
}
};
std::unordered_map<metric_tuple_key, double, m_KeyHash, m_KeyEqual> _metrics;
我能够通过创建元组键将值插入 _metrics
。
现在,我想在指定键时从 _metrics
中获取一些值。
//Retrieve around 120 double values. Total number of entries in _metrics is 21600
double k = _metrics.at((std::make_tuple(m, k, edge.first, edge.second))). //do this 120 times
事实证明这很慢(将近 400 毫秒)。我希望它会花费大约一毫秒或更短的时间。
我是不是做错了什么或者 std::unordered_map 不适合我的用例。我之前使用 python 词典来解决同样的问题,并且在 python 字典
中检索值几乎是瞬时的
编辑:
一些 unordered_map 统计数据:
max_load_factor: 1
size: 21600
bucket_count: 25717
load_factor: 0.839911
编辑:计时器代码:
#include <chrono>
#include <iostream>
#include <iomanip>
class Timer {
private:
std::chrono::time_point<std::chrono::steady_clock> start , stop;;
public:
void startClock();
void stopClock();
void elapsedTime(std::string &message);
};
#include "Timer.hpp"
void Timer::startClock() {
start = std::chrono::steady_clock::now();
}
void Timer::stopClock() {
stop = std::chrono::steady_clock::now();
}
void Timer::elapsedTime(std::string &message) {
auto diff = stop - start;
std::cout << "Elapsed time for " <<message<< " " << std::setprecision(13) <<std::chrono::duration <double, std::milli> (diff).count() << " ms" << std::endl;
}
并且时间测量是
T_met.startClock();
for (const auto& edges: list_of_arcs())
{
double k = _metrics.at((std::make_tuple(m, k, edge.first, edge.second)))
}
T_met.stopClock();
搜索持续时间取决于哈希的质量。
对于测试,您可以使用 "map" - 它具有稳定的搜索持续时间。
Of map 比 unordered map 快 - 你的 hash 不好。
我正在尝试将图表的一些信息存储在 unordered_map 中。每条边都有一些参数。有120条边,每条边有90*2个不同的参数。
我有以下 std::unordered_map<>
typedef std::tuple<int, int, int, int> metric_tuple_key; // metric tuple key
// define a hash function for this metric_tuple_key tuple
struct m_KeyHash : public std::unary_function<metric_tuple_key, std::size_t> {
std::size_t operator()(const metric_tuple_key& k) const {
// the magic operation below makes collisions less likely than just the standard XOR
std::size_t seed = std::hash<int>()(std::get<0>(k));
seed ^= std::hash<int>()(std::get<1>(k)) + 0x9e3779b9 + (seed << 6) + (seed >> 2);
seed ^= std::hash<int>()(std::get<2>(k)) + 0x9e3779b97f4a7c15 + (seed << 6) + (seed >> 2);
return seed ^ (std::hash<char>()(std::get<3>(k)) + 0x9e3779b9 + (seed << 6) + (seed >> 2));
}
};
// define the comparison operator for this metric_tuple_key tuple
struct m_KeyEqual : public std::binary_function<metric_tuple_key, metric_tuple_key, bool> {
bool operator()(const metric_tuple_key& v0, const metric_tuple_key& v1) const {
return (std::get<0>(v0) == std::get<0>(v1) && std::get<1>(v0) == std::get<1>(v1) &&
std::get<2>(v0) == std::get<2>(v1) && std::get<3>(v0) == std::get<3>(v1));
}
};
std::unordered_map<metric_tuple_key, double, m_KeyHash, m_KeyEqual> _metrics;
我能够通过创建元组键将值插入 _metrics
。
现在,我想在指定键时从 _metrics
中获取一些值。
//Retrieve around 120 double values. Total number of entries in _metrics is 21600
double k = _metrics.at((std::make_tuple(m, k, edge.first, edge.second))). //do this 120 times
事实证明这很慢(将近 400 毫秒)。我希望它会花费大约一毫秒或更短的时间。
我是不是做错了什么或者 std::unordered_map 不适合我的用例。我之前使用 python 词典来解决同样的问题,并且在 python 字典
中检索值几乎是瞬时的编辑: 一些 unordered_map 统计数据:
max_load_factor: 1
size: 21600
bucket_count: 25717
load_factor: 0.839911
编辑:计时器代码:
#include <chrono>
#include <iostream>
#include <iomanip>
class Timer {
private:
std::chrono::time_point<std::chrono::steady_clock> start , stop;;
public:
void startClock();
void stopClock();
void elapsedTime(std::string &message);
};
#include "Timer.hpp"
void Timer::startClock() {
start = std::chrono::steady_clock::now();
}
void Timer::stopClock() {
stop = std::chrono::steady_clock::now();
}
void Timer::elapsedTime(std::string &message) {
auto diff = stop - start;
std::cout << "Elapsed time for " <<message<< " " << std::setprecision(13) <<std::chrono::duration <double, std::milli> (diff).count() << " ms" << std::endl;
}
并且时间测量是
T_met.startClock();
for (const auto& edges: list_of_arcs())
{
double k = _metrics.at((std::make_tuple(m, k, edge.first, edge.second)))
}
T_met.stopClock();
搜索持续时间取决于哈希的质量。 对于测试,您可以使用 "map" - 它具有稳定的搜索持续时间。 Of map 比 unordered map 快 - 你的 hash 不好。