如何向已存在的 Docker/Singularity 图像添加额外的命令行工具？

Question

我从事神经科学工作，我使用名为 Brainlife 的云平台上传和下载数据（链接 here, but I don't think knowledge of Brainlife is relevant to this question). I use Brainlife's command line interface to upload and download data on my university's server. In order to use their CLI, I run Singularity with a Docker image created by Brainlife (found here）。我运行使用以下代码：

singularity shell docker://brainlife/cli -B

我也在我的服务器帐户上保存了文件，可以运行像这样：

singularity shell brainlifeimage.sif -B

在运行执行其中一个命令后，我可以下载和上传数据，通常是成功的。目前我正在按照 Brainlife 的教程批量下载数据。本教程使用命令行工具“jq”(link)，该工具不在其 docker 图像上。我尝试像这样在 Singularity shell 中安装它：

apt-get install jq

它返回：

Reading package lists... Done
Building dependency tree       
Reading state information... Done
W: Not using locking for read only lock file /var/lib/dpkg/lock
E: Unable to locate package jq

有没有一种简单的方法可以将这个工具添加到图像中？我一直在阅读 Singularity 和 Docker 文档，但是 Docker 对我来说是全新的，我真的迷路了。

如果相关，我的大学服务器运行s 在 Ubuntu 16.04.7 LTS 上，我在 Mac 笔记本电脑运行ning [=32] 上使用终端=]OS 11.3。这是我的第一个堆栈溢出问题 - 如果我可以提供任何其他信息，请告诉我！非常感谢。

Answer 1

简短而具体的答案：jq 是可移植的，因此您可以将其挂载到映像中并正常使用。例如

singularity shell -B /path/to/jq:/usr/bin/jq brainlifeimage.sif

简短、通用的回答：您不能修改只读映像，需要构建一个新映像。

带有多个选项和具体示例的长答案：

由于奇点图像是只读的，因此不能对它们进行持久性更改。这对于可重复性非常好，如果您的工具可能经常更改，则有点不方便。您可以通过多种方式重建映像，但所有方式都需要 sudo 权限。

根据docker图像写一个新的奇点定义

新建一个定义文件（一般称为Singularity或something.def），以当前容器为基础，在%post部分添加需要的软件。然后构建新图像：sudo singularity build brainy_jq.sif Singularity

definition file docs 非常好，强烈推荐。

Bootstrap: docker
From: brainlife/cli:latest

%post
    apt-get update && apt-get install -y jq

创建当前奇点图像的沙盒，进行更改，然后转换回只读图像。请参阅 writable sandbox directories and converting images between formats.

# use --sandbox to create a writable singularity image
sudo singularity build --sandbox writable_brain/ brainlifeimage.sif
# --writable must still be used to make changes, and sudo for correct permissions
sudo singularity exec writable_brain/ bash -c 'apt-get update && apt-get install -y jq'
# convert back to read-only image for normal usage
sudo singularity build brainlifeimage_jq.sif writable_brain/

在本地修改源 docker 图像并从中构建。其中之一... 创意选项。几乎不需要 sudo，除了 singularity pull 不接受 docker-daemon 所以 sudo singularity build 是必要的。

# add jq to a new docker container. the value for --name doesn't matter, but we use it
# in later steps. The entrypoint needs to be overridden in this case as well.
docker run -it --name brainlife-jq --entrypoint=/bin/bash \
    brainlife/cli:1.5.25 -c 'apt-get update && apt-get install -y jq'

# use docker commit to create an image from the container so it can be reused
# note that we're using the name of the image set in the previous step
# the output of docker commit is the hash for the newly created image, so we grab that
IMAGE_ID=$(docker commit brainlife-jq)

# tag the newly created image with a more useful name
docker tag $IMAGE_ID brainlife/cli:1.5.25-jq

# here we use docker-daemon instead of docker to build from a locally cached docker image
# instead of looking at docker hub
sudo singularity build brainlife_jq.sif docker-daemon://brainlife/cli:1.5.25-jq

# now check that it all worked as planned
singularity exec brainlife_jq.sif which jq
# /usr/bin/jq

参考：docker commit, using locally cached docker images

如何向已存在的 Docker/Singularity 图像添加额外的命令行工具？

How do I add an additional command line tool to an already existing Docker/Singularity image?

docker

dockerfile

docker-container

singularity-container