std::unordered_map 在共享内存中使用 boost::interprocess 分配器 - 缺点?
std::unordered_map with boost::interprocess allocator in shared memory - drawbacks?
我现在正在使用 boost::interprocess
进入共享内存。
我定义了一些 std::unordered_map
和 std::unordered_set
类型,如下所示:
#include <boost/interprocess/allocators/allocator.hpp>
#include <unordered_map> // NOT the boost implementation ...
...
namespace ipc = boost::interprocess;
/**
* allocator type needed to construct maps in shared memory
*/
typedef ipc::allocator<std::pair<const size_t, std::string>,
ipc::managed_shared_memory::segment_manager> OBJ_MAP_ALLOCATOR;
/**
* map type to construct maps in shared memory
*/
typedef std::unordered_map<size_t,
std::string,
std::hash<size_t>,
std::equal_to<size_t>,
OBJ_MAP_ALLOCATOR> OBJ_MAP_TYPE;
我这样初始化它们:
ipc::managed_shared_memory segment;
// allocate segment etc ...
OBJ_MAP_ALLOCATOR alloc_inst(segment.get_segment_manager());
objMap = segment.find_or_construct<OBJ_MAP_TYPE> (ipc::unique_instance)(alloc_inst);
这似乎工作正常,我在编译或运行时没有发现任何问题(在 macOS 上工作,Apple LLVM version 9.1.0 (clang-902.0.39.1)
,使用 C++14 标准)。
在 Boost 文档中,仅提到了 Boost 容器或特定于进程间的实现。不幸的是,它们似乎不包含无序版本。
所以,我想知道将默认的 STL 容器与 Boost 分配器一起使用是否有任何问题?也许在不同的平台上?
感谢任何提示!
更新:
我想知道它是否在不同的环境中工作,所以我在 Coliru 上写了一个最小的例子(令人惊讶的是它与 std::string
一起工作):
unordered_map
将处理 Boost Interprocess 分配器 IFF 你的库实现支持有状态分配器¹和使用 non-raw 指针类型的分配器。
即便如此,就像@rustyx 提到的那样,如果您实际上 与另一个进程共享内存,您将陷入严重的麻烦。另一个进程可能会将段映射到不同的基地址,从而使存储在内存区域中的所有指针都无效。
☞ You need to use a Interprocess allocator with the string too!
以下是我通常喜欢写的内容:
#include <boost/interprocess/allocators/allocator.hpp>
#include <boost/interprocess/containers/string.hpp>
#include <boost/interprocess/managed_shared_memory.hpp>
#include <unordered_map>
namespace ipc = boost::interprocess;
namespace Shared {
using Segment = ipc::managed_shared_memory;
using Manager = Segment::segment_manager;
template <typename T> using Alloc = ipc::allocator<T, Manager>;
template <typename K, typename V, typename KH = std::hash<K>, typename KEq = std::equal_to<K> >
using HashMap = std::unordered_map<K, V, KH, KEq, Alloc<std::pair<const K, V>> >;
using String = ipc::basic_string<char, std::char_traits<char>, Alloc<char> >;
}
using OBJ_MAP_TYPE = Shared::HashMap<size_t, Shared::String>;
int main() {
Shared::Segment msm(ipc::open_or_create, "test", 10ul<<20);
Shared::Manager* mgr = msm.get_segment_manager();
OBJ_MAP_TYPE& m = *msm.find_or_construct<OBJ_MAP_TYPE>("aname")(msm.get_segment_manager());
m.emplace(42, Shared::String("LtUaE", msm.get_segment_manager()));
}
值得注意的细节:
这个位:
Shared::Manager* mgr = msm.get_segment_manager();
OBJ_MAP_TYPE& m = *msm.find_or_construct<OBJ_MAP_TYPE>("aname")(mgr);
是一个方便的 short-cut 做:
Shared::Alloc<OBJ_MAP_TYPE::value_type> alloc_inst(msm.get_segment_manager());
OBJ_MAP_TYPE& m = *msm.find_or_construct<OBJ_MAP_TYPE>("aname")(alloc_inst);
这是可行的,因为允许从 segment-manager 指针到分配器实例的隐式转换。
输入魔法
您会注意到嵌套分配器使用起来很笨拙:
m.emplace(42, Shared::String("LtUaE", msm.get_segment_manager()));
这就是 scoped_allocator_adaptor
的设计者试图解决的问题。如果将分配器更改为:
template <typename T> using Alloc = std::scoped_allocator_adaptor<ipc::allocator<T, Manager> >;
你可以突然写:
m.emplace(42, "LtUaE");
这是因为 in-place 构造是根据用途定义的-
分配器构造(参见[allocator.uses.construction])
¹ 准备大吃一惊,@SergeyA。 Libstdc++ 上次我检查时不支持它,但它的 unordered_map
自 GCC 4.9.0 以来支持它,并且 OP 似乎有 libc++ 支持的轶事证据(尽管我们甚至不知道是否曾经有过实例typedef :))
我现在正在使用 boost::interprocess
进入共享内存。
我定义了一些 std::unordered_map
和 std::unordered_set
类型,如下所示:
#include <boost/interprocess/allocators/allocator.hpp>
#include <unordered_map> // NOT the boost implementation ...
...
namespace ipc = boost::interprocess;
/**
* allocator type needed to construct maps in shared memory
*/
typedef ipc::allocator<std::pair<const size_t, std::string>,
ipc::managed_shared_memory::segment_manager> OBJ_MAP_ALLOCATOR;
/**
* map type to construct maps in shared memory
*/
typedef std::unordered_map<size_t,
std::string,
std::hash<size_t>,
std::equal_to<size_t>,
OBJ_MAP_ALLOCATOR> OBJ_MAP_TYPE;
我这样初始化它们:
ipc::managed_shared_memory segment;
// allocate segment etc ...
OBJ_MAP_ALLOCATOR alloc_inst(segment.get_segment_manager());
objMap = segment.find_or_construct<OBJ_MAP_TYPE> (ipc::unique_instance)(alloc_inst);
这似乎工作正常,我在编译或运行时没有发现任何问题(在 macOS 上工作,Apple LLVM version 9.1.0 (clang-902.0.39.1)
,使用 C++14 标准)。
在 Boost 文档中,仅提到了 Boost 容器或特定于进程间的实现。不幸的是,它们似乎不包含无序版本。
所以,我想知道将默认的 STL 容器与 Boost 分配器一起使用是否有任何问题?也许在不同的平台上?
感谢任何提示!
更新:
我想知道它是否在不同的环境中工作,所以我在 Coliru 上写了一个最小的例子(令人惊讶的是它与 std::string
一起工作):
unordered_map
将处理 Boost Interprocess 分配器 IFF 你的库实现支持有状态分配器¹和使用 non-raw 指针类型的分配器。
即便如此,就像@rustyx 提到的那样,如果您实际上 与另一个进程共享内存,您将陷入严重的麻烦。另一个进程可能会将段映射到不同的基地址,从而使存储在内存区域中的所有指针都无效。
☞ You need to use a Interprocess allocator with the string too!
以下是我通常喜欢写的内容:
#include <boost/interprocess/allocators/allocator.hpp>
#include <boost/interprocess/containers/string.hpp>
#include <boost/interprocess/managed_shared_memory.hpp>
#include <unordered_map>
namespace ipc = boost::interprocess;
namespace Shared {
using Segment = ipc::managed_shared_memory;
using Manager = Segment::segment_manager;
template <typename T> using Alloc = ipc::allocator<T, Manager>;
template <typename K, typename V, typename KH = std::hash<K>, typename KEq = std::equal_to<K> >
using HashMap = std::unordered_map<K, V, KH, KEq, Alloc<std::pair<const K, V>> >;
using String = ipc::basic_string<char, std::char_traits<char>, Alloc<char> >;
}
using OBJ_MAP_TYPE = Shared::HashMap<size_t, Shared::String>;
int main() {
Shared::Segment msm(ipc::open_or_create, "test", 10ul<<20);
Shared::Manager* mgr = msm.get_segment_manager();
OBJ_MAP_TYPE& m = *msm.find_or_construct<OBJ_MAP_TYPE>("aname")(msm.get_segment_manager());
m.emplace(42, Shared::String("LtUaE", msm.get_segment_manager()));
}
值得注意的细节:
这个位:
Shared::Manager* mgr = msm.get_segment_manager(); OBJ_MAP_TYPE& m = *msm.find_or_construct<OBJ_MAP_TYPE>("aname")(mgr);
是一个方便的 short-cut 做:
Shared::Alloc<OBJ_MAP_TYPE::value_type> alloc_inst(msm.get_segment_manager()); OBJ_MAP_TYPE& m = *msm.find_or_construct<OBJ_MAP_TYPE>("aname")(alloc_inst);
这是可行的,因为允许从 segment-manager 指针到分配器实例的隐式转换。
输入魔法
您会注意到嵌套分配器使用起来很笨拙:
m.emplace(42, Shared::String("LtUaE", msm.get_segment_manager()));
这就是 scoped_allocator_adaptor
的设计者试图解决的问题。如果将分配器更改为:
template <typename T> using Alloc = std::scoped_allocator_adaptor<ipc::allocator<T, Manager> >;
你可以突然写:
m.emplace(42, "LtUaE");
这是因为 in-place 构造是根据用途定义的- 分配器构造(参见[allocator.uses.construction])
¹ 准备大吃一惊,@SergeyA。 Libstdc++ 上次我检查时不支持它,但它的 unordered_map
自 GCC 4.9.0 以来支持它,并且 OP 似乎有 libc++ 支持的轶事证据(尽管我们甚至不知道是否曾经有过实例typedef :))