如何限制 mongodump 的 CPU 和 RAM 资源？

Question

我有一个mongod服务器运行。每天，我都在执行 mongodump 以进行备份。问题是 mongodump 会占用大量资源并且会降低服务器速度（顺便说一句，它已经运行了一些其他繁重的任务）。

我的目标是以某种方式限制在 shell 脚本中调用的 mongodump。

谢谢。

Answer 1

你应该使用 cgroups。挂载点和细节在发行版和内核上是不同的。 IE。 Debian 7.0 默认情况下不挂载 cgroupfs 并禁用内存子系统（人们建议使用 cgroup_enabled=memory 重新启动），而 openSUSE 13.1 随附了所有开箱即用的功能（主要是由于 systemd）。

因此，首先，创建挂载点并挂载 cgroupfs（如果您的发行版尚未完成）：

mkdir /sys/fs/cgroup/cpu
mount -t cgroup -o cpuacct,cpu cgroup /sys/fs/cgroup/cpu

mkdir /sys/fs/cgroup/memory
mount -t cgroup -o memory cgroup /sys/fs/cgroup/memory

创建一个cgroup：

mkdir /sys/fs/cgroup/cpu/shell
mkdir /sys/fs/cgroup/memory/shell

设置cgroup。我决定更改 cpu 股 。它的默认值为 1024，因此如果有竞争对手，将其设置为 128 会将 cgroup 限制为所有 CPU 资源的 11%。如果还有免费的 cpu 资源，它们将被提供给 mongodump。您也可以使用 cpuset 来限制可用的内核数。

echo 128 > /sys/fs/cgroup/cpu/shell/cpu.shares
echo 50331648 > /sys/fs/cgroup/memory/shell/memory.limit_in_bytes

现在将 PID 添加到 cgroup 它也会影响他们所有的 children。

echo 13065 >  /sys/fs/cgroup/cpu/shell/tasks
echo 13065 >  /sys/fs/cgroup/memory/shell/tasks

我运行几个测试。 Python 试图分配内存堆被 OOM 杀死：

myaut@zenbook:~$ python -c 'l = range(3000000)'
Killed

我还有运行四个无限循环，在 cgroup 中排名第五。正如预期的那样，cgroup 中运行的循环仅获得了 CPU 时间的 45%，而其余部分获得了 355%（我有 4 个核心）。

所有更改都不会在重启后继续存在！

您可以将此代码添加到运行s mongodump 的脚本中，或者使用一些永久解决方案。

如何限制 mongodump 的 CPU 和 RAM 资源？

How to limit CPU and RAM resources for mongodump?

linux

mongodb

mongodump