在 ArangoDB 上加载大型集合
Load a large Collection on ArangoDB
我正在使用 ArangoDB 进行一个项目。这个项目意味着大数据(现在不是太多)作为一个集合中的 4000k 文档。
一步步迁移数据,最后读取Collection数据没有问题
因为周末,我们停止了 ArangoDB 和我们的机器。
当我们启动我们的机器时,无法加载该集合的数据。
随后我们尝试:
- arangodb 客户端加载数据,但响应是一般错误
'Collection error'
- 从控制台转储数据:但响应是:
Error: got invalid response from server: Could not connect to
'tcp://localhost:8529' 'connect() failed with #111 - Connection
refused'
我们能做什么?
这个集合有很多索引,桶固定为 64。
编辑
我试图停止并重新开始 arangodb:问题仍然存在。
所以,我会排除这是一个服务器问题。
可能是 Collection 中有一些错误的配置(等待同步:false,bucket 64,journal size:32)?
最初的问题已通过更新到该版本系列的最新版本得到解决。
新的问题是如何为索引选择桶。
桶是保存索引的内存区域。默认是有 8 个这样的桶。一旦一个桶满了,就会分配一个双倍大小的新桶,复制现有的结构。复制是有代价的,这会减慢索引建立或插入新项目的速度。
因此,如果您要处理的集合很大和/或有很多插入物,则更大数量的桶可能更适合您的情况。您可能希望将桶数加倍,看看它是否更适合您。
我正在使用 ArangoDB 进行一个项目。这个项目意味着大数据(现在不是太多)作为一个集合中的 4000k 文档。
一步步迁移数据,最后读取Collection数据没有问题
因为周末,我们停止了 ArangoDB 和我们的机器。 当我们启动我们的机器时,无法加载该集合的数据。
随后我们尝试:
- arangodb 客户端加载数据,但响应是一般错误
'Collection error'
- 从控制台转储数据:但响应是:
Error: got invalid response from server: Could not connect to 'tcp://localhost:8529' 'connect() failed with #111 - Connection refused'
我们能做什么? 这个集合有很多索引,桶固定为 64。
编辑 我试图停止并重新开始 arangodb:问题仍然存在。 所以,我会排除这是一个服务器问题。 可能是 Collection 中有一些错误的配置(等待同步:false,bucket 64,journal size:32)?
最初的问题已通过更新到该版本系列的最新版本得到解决。
新的问题是如何为索引选择桶。
桶是保存索引的内存区域。默认是有 8 个这样的桶。一旦一个桶满了,就会分配一个双倍大小的新桶,复制现有的结构。复制是有代价的,这会减慢索引建立或插入新项目的速度。
因此,如果您要处理的集合很大和/或有很多插入物,则更大数量的桶可能更适合您的情况。您可能希望将桶数加倍,看看它是否更适合您。