vespa - Vespa 进程通常需要多少时间才能启动以重建属性的 mmap?

vespa - How much time Vespa process generally take for Startup to rebuild mmap of attributes?

在为索引编写搜索定义时 "attribute" - 我从 http://docs.vespa.ai/documentation/search-definitions.html 中读到它将字段保存在内存中。基本问题是:在集群重启的情况下,内存中的数据是从索引重建的吗?

在集群重启的情况下,Vespa 需要多少时间来重建内存中的属性? (假设一个节点有 2TB 的数据,一半的字段定义为 "attribute" - mmap 大约 1TB?)

启动时需要将属性数据从磁盘读入内存,所需时间取决于:

  • 纯大小(例如,多值字符串与单字节字段)和 documents/values 的数量。
  • 属性设置(快速访问、快速搜索等)需要在原始属性数据之上构建额外的内存结构

所以答案真的是'it depends'。

mode=index 的 vespa 内容节点有 4 个包含数据的主目录,其中属性数据与索引分开存储。属性目录包含 snapshot-xx/*.dat 文件,这些文件被读入内存并进入数据结构(因此不使用文件支持的 mmap)

ls /opt/vespa/var/db/vespa/search/cluster.x/n0/documents/x/0.ready/
attribute  documentmetastore  index  summary