查询从内存映射文件中检索到的 Rtree 时出现分段错误

Question

我很纳闷。考虑以下代码，稍微改编自 http://www.boost.org/doc/libs/1_57_0/libs/geometry/doc/html/geometry/spatial_indexes/rtree_examples/index_stored_in_mapped_file_using_boost_interprocess.html :

#include <boost/filesystem.hpp>

#include <boost/geometry.hpp>
#include <boost/geometry/geometries/point.hpp>
#include <boost/geometry/geometries/box.hpp>
#include <boost/geometry/index/rtree.hpp>

#include <boost/interprocess/managed_mapped_file.hpp>

namespace bg = boost::geometry;
namespace bgi = boost::geometry::index;
namespace bi = boost::interprocess;

typedef bg::model::point<float, 2, bg::cs::cartesian> point; 
typedef std::pair<point, int> value_t; // **
typedef bgi::linear<32, 8> params_t;
typedef bgi::indexable<value_t> indexable_t;
typedef bgi::equal_to<value_t> equal_to_t;
typedef bi::allocator<value_t, bi::managed_mapped_file::segment_manager> allocator_t;
typedef bgi::rtree<value_t, params_t, indexable_t, equal_to_t, allocator_t> rtree_t;

using namespace boost::filesystem;

int main(int argc, char * argv[])
{   

    std::string indexFile = "/home/jerome/proteome/index_tree.dat";
    remove(indexFile); 

    int mmfSize = 1200000;

    {
        bi::managed_mapped_file file(bi::open_or_create,indexFile.c_str(), mmfSize);
        allocator_t alloc(file.get_segment_manager());
        rtree_t * rtree_ptr = file.find_or_construct<rtree_t>("rtree")(params_t(), indexable_t(), equal_to_t(), alloc);

        std::cout << "Indexing ... " << std::endl;
        for(int i = 0; i < 1001; i++)
        {
            rtree_ptr->insert(std::make_pair(point(i,i),i*i));  
        }

        std::cout << "Indexing done." << std::endl;
    }

    {
        bi::managed_mapped_file file(bi::open_or_create,indexFile.c_str(), mmfSize);
        allocator_t alloc(file.get_segment_manager());
        rtree_t * rtree_ptr = file.find_or_construct<rtree_t>("rtree")(params_t(), indexable_t(), equal_to_t(), alloc);

        std::cout << "Tree loaded, contains " << rtree_ptr->size() << " elements" << std::endl;

        // query point
        point pt(2, 1);

        std::vector<value_t> results;
        rtree_ptr->query(bgi::nearest(pt, 3), std::back_inserter(results));
        std::cout << "Query performed" << std::endl;    

        for (int i = 0; i < results.size(); i++)
        {
            value_t v = results[i];
            std::cout << "Found the point " << v.second << " at a distance of " << bg::distance(v.first,pt) << std::endl; 
        }
    }

}

效果很好。它创建一个 Rtree 并将其存储在内存映射文件中，然后检索它并查询它，没问题。但是，一旦我尝试将此文件一分为二（树在一个文件中构建，并在另一个文件中查询），查询就不再起作用了！（下面代码中的“...”指的是初始示例中的所有包含和 typedef，它们已准确复制到两个文件中，但为清楚起见在此处删除）。

构建文件：

...
int main(int argc, char * argv[])
{   

    std::string indexFile = "/home/jerome/proteome/index_tree.dat";
    remove(indexFile); 

    int mmfSize = 1200000;

    {
        bi::managed_mapped_file file(bi::open_or_create,indexFile.c_str(), mmfSize);
        allocator_t alloc(file.get_segment_manager());
        rtree_t * rtree_ptr = file.find_or_construct<rtree_t>("rtree")(params_t(), indexable_t(), equal_to_t(), alloc);

        std::cout << "Indexing ... " << std::endl;
        for(int i = 0; i < 1001; i++)
        {
            rtree_ptr->insert(std::make_pair(point(i,i),i*i));  
        }

        std::cout << "Indexing done." << std::endl;
    }

}

查询文件：

...

int main(int argc, char * argv[])
{   

    std::string indexFile = "/home/jerome/proteome/index_tree.dat";

    int mmfSize = 1200000;

    {
        bi::managed_mapped_file file(bi::open_or_create,indexFile.c_str(), mmfSize);
        allocator_t alloc(file.get_segment_manager());
        rtree_t * rtree_ptr = file.find_or_construct<rtree_t>("rtree")(params_t(), indexable_t(), equal_to_t(), alloc);

        std::cout << "Tree loaded, contains " << rtree_ptr->size() << " elements" << std::endl;

        // query point
        point pt(2, 1);

        std::vector<value_t> results;
        rtree_ptr->query(bgi::nearest(pt, 3), std::back_inserter(results));
        std::cout << "Query performed" << std::endl;    

        for (int i = 0; i < results.size(); i++)
        {
            value_t v = results[i];
            std::cout << "Found the point " << v.second << " at a distance of " << bg::distance(v.first,pt) << std::endl; 
        }
    }

}

（remove() 用于防止覆盖现有文件并每次都重新开始。）

构建代码运行良好，但查询代码失败：

Tree loaded, contains 1001 elements Segmentation fault (core dumped)

有什么想法吗？我希望不知何故，当树的检索完成后，某些东西丢失了，所以检索到的树是畸形的，并在查询时导致内存问题。但是为什么当它在两个不同的文件中时会发生，而不是当它在同一个文件中但在两个不同的范围内时呢？它不应该具有完全相同的行为吗？

编辑：我使用的是 boost 1.54。

Answer 1

这个太棒了。

根据调试器中的代码，R 树的节点中实际存储了什么？

事实证明，R-tree 实现存储了一个 boost::geometry::index::detail::rtree::dynamic_leaf<...> 类型的对象。这源自 boost::geometry::index::detail::rtree::dynamic_node<...>。该对象在映射文件的堆上正确分配，将节点数据 与对象的 vtable 指针 一起存储。 vtable 为可执行文件实例化一次，但它在 reader 的位置与 writer 的位置不同。当在reader中调用dynamic_node上的虚方法时，要跳转到的地址是从writer存储的vtable地址中查找的，该地址来自reader' s的视角在超空间的某处。

这就是崩溃的来源！

没有简单的解决方法：boost::interprocess 显式 does not support sharing dynamic objects。

Answer 2

R 树在内部可以使用各种类型的节点，尽管定义和选择它们的接口没有记录在案，而且可能永远不会。在 Boost 1.56 中，节点的默认类型已更改为基于变体，正是因为您面临的问题。

因此，要毫无问题地将 rtree 与 Interprocess 一起使用，您可以：

使用更新版本的 Boost，1.56 或更高版本（您还没有写下您使用的是哪个版本）
通过应用这个简单的修复来修复您的本地 Boost 副本：https://github.com/boostorg/geometry/commit/3474244d0a91d63752cd8a7b683fd013da030750

另请参阅此讨论：http://boost-geometry.203548.n3.nabble.com/rtree-crash-when-used-with-inter-process-td4026037.html

在上述讨论的最后，提到了另一种解决方案，但它更复杂并且取决于库的内部结构。它可能会在某个时候停止编译（事实上它只适用于 Boost 1.56 及以下版本）。但是如果你使用它，你的程序只需要官方的Boost就可以编译，不需要任何修改。

查询从内存映射文件中检索到的 Rtree 时出现分段错误

Segmentation fault when querying Rtree retrieved from memory mapped file

c++

boost

memory-mapped-files

boost-geometry