FOS Elastica 捆绑填充命令被内存不足的 oom_reaper 杀死

Question

数据库 table 中有 180 万条记录，我想通过 fos:elastica:populate 命令建立索引。一旦大约 500.000 个文档已经在 elasticsearch 中，索引就会突然停止。

在后端服务器的 dmesg 中我看到了这个：

[19314221.670723] Out of memory: Killed process 2640772 (php) total-vm:21738676kB, anon-rss:19847596kB, file-rss:4kB, shmem-rss:0kB, UID:0 pgtables:42352kB oom_score_adj:0
[19314224.812907] oom_reaper: reaped process 2640772 (php), now anon-rss:0kB, file-rss:0kB, shmem-rss:0kB

Elasticsearch、MySQL 和 PHP Symfony 后端（populate 运行的地方）在不同的服务器上。

我该如何解决这个问题并用文档填充 elastica？

FOSElasticaBundle 是 v5.1.0

Answer 1

好的。我找到的唯一解决方案（不包括租用功能强大的服务器的可能性）是运行使用部分 bash 脚本填充命令。

这是一个索引剩余数据的示例脚本。

#!/bin/bash
for i in {6000..18000..4000}
  do 
    bin/console fos:elastica:populate --no-reset --first-page="$i" --last-page="$((i + 4000))"
  done
bin/console fos:elastica:populate --no-reset --first-page=18000

FOS Elastica 捆绑填充命令被内存不足的 oom_reaper 杀死

FOS Elastica bundle populate command killed by oom_reaper with out of memory

php

symfony

elasticsearch

elastica

foselasticabundle