我可以设置 arm64 docker 图像，但不能 运行 任何东西
I can set up an arm64 docker image, but can't run anything
我有一个 CentOS 7 x86_64 虚拟机。我需要在 Oracle Linux 8 arm64 docker 容器中做一些事情。
我安装了docker和qemu:
$ sudo yum install -y yum-utils
$ sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
$ sudo yum install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin \
qemu-system-arm qemu qemu-user qemu-kvm qemu-kvm-tools libvirt virt-install \
libvirt-python libguestfs-tools-c
然后我开始 docker 并设置 qemu-user-static:
$ sudo systemctl start docker
$ docker run --rm --privileged multiarch/qemu-user-static --reset
我的 Dockerfile 是：
FROM oraclelinux:8.5
ENV container docker
RUN dnf -y install sssd nscd unzip zip xz which file
RUN useradd --uid 1001 -ms /bin/bash cm
RUN uname -m
然后使用以下内容创建 x86_64 和 arm64 图像：
docker buildx create --name ol8_builder
docker buildx --builder ol8_builder build -t frickson/oracle8 . --platform=linux/amd64 --load --progress=plain
docker buildx --builder ol8_builder build -t frickson/oracle8arm . --platform=linux/arm64 --load --progress=plain
在构建两个图像的过程中，RUN useradd 起作用并创建了用户。 RUN uname -m 适用于两个系统，产生正确的输出（分别为 x86_64 和 aarch64）。
x86_64机器正常工作：
$ docker run --rm --privileged frickson/oracle8 uname -m
x86_64
但是arm64机器没有：
$ docker run --platform linux/arm64 --rm --privileged frickson/oracle8arm uname -a
exec /usr/bin/uname: no such file or directory
我猜它没有找到一个或多个库，因为它在映像构建期间工作。尝试 运行 任何命令（bash、ls、true）都会导致相同的错误消息。
知道我遗漏了什么吗？谢谢！
编辑：回应@JosephSible-ReinstateMonica：
没用。而且我无法访问 ARM 主机来检查我的图像。
$ sudo docker run --platform linux/arm64 -it --rm --privileged oraclelinux:8 /bin/bash
Unable to find image 'oraclelinux:8' locally
8: Pulling from library/oraclelinux
e12ce518ed4b: Pull complete
Digest: sha256:cad3a3dc2dd9f03dec02642dce1f194562e7f21820bc36ceb9f7b070d337fb45
Status: Downloaded newer image for oraclelinux:8
exec /bin/bash: no such file or directory
当您 运行 docker run --rm --privileged multiarch/qemu-user-static --reset 时，它会将 aarch64 二进制文件的处理程序设置为：
[root@localhost ~]# cat /proc/sys/fs/binfmt_misc/qemu-aarch64
enabled
interpreter /usr/bin/qemu-aarch64-static
flags:
offset 0
magic 7f454c460201010000000000000000000200b700
mask ffffffffffffff00fffffffffffffffffeffffff
不幸的是，CentOS 7 没有这些二进制文件的 -static 版本：
[root@localhost ~]# ls /usr/bin/qemu-aarch64*
/usr/bin/qemu-aarch64
幸运的是，multiarch/qemu-user-static 容器在映像中包含必要的二进制文件；你可以像这样复制到你的主机上：
$ docker run --rm --entrypoint tar multiarch/qemu-user-static \
-C /usr/bin -cf- . | tar -C /usr/bin -xf-
现在我们有：
[root@localhost bin]# ls /usr/bin/qemu-aarch64*
/usr/bin/qemu-aarch64 /usr/bin/qemu-aarch64_be-static /usr/bin/qemu-aarch64-static
这让我们非常接近，但我们需要按照 docs for multiarch/qemu-user-static:
中的描述将静态二进制文件安装到映像中
[root@localhost bin]# docker run --platform linux/arm64 --rm -v /usr/bin/qemu-aarch64-static:/usr/bin/qemu-aarch64-static oraclelinux:8.5 uname -a
Linux 2d7e2e0ce6d7 3.10.0-1160.66.1.el7.x86_64 #1 SMP Wed May 18 16:02:34 UTC 2022 aarch64 aarch64 aarch64 GNU/Linux
（或者您需要将解释器构建到图像中。）
我们需要在 CentOS 7 的容器内安装 qemu-aarch64-static，因为内核似乎不支持 binfmt_misc 解释器的 F 标志。 F 标志表示：
F - fix binary
The usual behaviour of binfmt_misc is to spawn the binary lazily when the misc format file is invoked. However, this doesn’t work very well in the face of mount namespaces and changeroots, so the F mode opens the binary as soon as the emulation is installed and uses the opened image to spawn the emulator, meaning it is always available once installed, regardless of how the environment changes.
multiarch/qemu-user-static 将设置 F 标志，如果您设置
--persistent yes 在命令行上，但在 CentOS 7 上失败：
$ docker run --rm --privileged multiarch/qemu-user-static --reset
--persistent yes
...
Setting /usr/bin/qemu-aarch64-static as binfmt interpreter for aarch64
sh: write error: Invalid argument
对于最近的 Fedora 发行版（可能还有其他发行版），您只需安装 qemu-user-static 软件包，一切都会正常工作（无需使用 multiarch/qemu-user-static 图像）：
$ cat /etc/fedora-release
Fedora release 34 (Thirty Four)
$ rpm -q qemu-user-static
qemu-user-static-5.2.0-9.fc34.x86_64
$ uname -m
x86_64
$ docker run --platform linux/arm64 --rm oraclelinux:8.5 uname -a
Linux 6f04d17234f5 5.17.6-100.fc34.x86_64 #1 SMP PREEMPT Mon May 9 14:41:31 UTC 2022 aarch64 aarch64 aarch64 GNU/Linux
qemu-user-static 软件包安装所有 binfmt_misc
为您注册。
我有一个 CentOS 7 x86_64 虚拟机。我需要在 Oracle Linux 8 arm64 docker 容器中做一些事情。
我安装了docker和qemu:
$ sudo yum install -y yum-utils
$ sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
$ sudo yum install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin \
qemu-system-arm qemu qemu-user qemu-kvm qemu-kvm-tools libvirt virt-install \
libvirt-python libguestfs-tools-c
然后我开始 docker 并设置 qemu-user-static:
$ sudo systemctl start docker
$ docker run --rm --privileged multiarch/qemu-user-static --reset
我的 Dockerfile 是：
FROM oraclelinux:8.5
ENV container docker
RUN dnf -y install sssd nscd unzip zip xz which file
RUN useradd --uid 1001 -ms /bin/bash cm
RUN uname -m
然后使用以下内容创建 x86_64 和 arm64 图像：
docker buildx create --name ol8_builder
docker buildx --builder ol8_builder build -t frickson/oracle8 . --platform=linux/amd64 --load --progress=plain
docker buildx --builder ol8_builder build -t frickson/oracle8arm . --platform=linux/arm64 --load --progress=plain
在构建两个图像的过程中，RUN useradd 起作用并创建了用户。 RUN uname -m 适用于两个系统，产生正确的输出（分别为 x86_64 和 aarch64）。
x86_64机器正常工作：
$ docker run --rm --privileged frickson/oracle8 uname -m
x86_64
但是arm64机器没有：
$ docker run --platform linux/arm64 --rm --privileged frickson/oracle8arm uname -a
exec /usr/bin/uname: no such file or directory
我猜它没有找到一个或多个库，因为它在映像构建期间工作。尝试 运行 任何命令（bash、ls、true）都会导致相同的错误消息。
知道我遗漏了什么吗？谢谢！
编辑：回应@JosephSible-ReinstateMonica：
没用。而且我无法访问 ARM 主机来检查我的图像。
$ sudo docker run --platform linux/arm64 -it --rm --privileged oraclelinux:8 /bin/bash
Unable to find image 'oraclelinux:8' locally
8: Pulling from library/oraclelinux
e12ce518ed4b: Pull complete
Digest: sha256:cad3a3dc2dd9f03dec02642dce1f194562e7f21820bc36ceb9f7b070d337fb45
Status: Downloaded newer image for oraclelinux:8
exec /bin/bash: no such file or directory
当您 运行 docker run --rm --privileged multiarch/qemu-user-static --reset 时，它会将 aarch64 二进制文件的处理程序设置为：
[root@localhost ~]# cat /proc/sys/fs/binfmt_misc/qemu-aarch64
enabled
interpreter /usr/bin/qemu-aarch64-static
flags:
offset 0
magic 7f454c460201010000000000000000000200b700
mask ffffffffffffff00fffffffffffffffffeffffff
不幸的是，CentOS 7 没有这些二进制文件的 -static 版本：
[root@localhost ~]# ls /usr/bin/qemu-aarch64*
/usr/bin/qemu-aarch64
幸运的是，multiarch/qemu-user-static 容器在映像中包含必要的二进制文件；你可以像这样复制到你的主机上：
$ docker run --rm --entrypoint tar multiarch/qemu-user-static \
-C /usr/bin -cf- . | tar -C /usr/bin -xf-
现在我们有：
[root@localhost bin]# ls /usr/bin/qemu-aarch64*
/usr/bin/qemu-aarch64 /usr/bin/qemu-aarch64_be-static /usr/bin/qemu-aarch64-static
这让我们非常接近，但我们需要按照 docs for multiarch/qemu-user-static:
中的描述将静态二进制文件安装到映像中[root@localhost bin]# docker run --platform linux/arm64 --rm -v /usr/bin/qemu-aarch64-static:/usr/bin/qemu-aarch64-static oraclelinux:8.5 uname -a
Linux 2d7e2e0ce6d7 3.10.0-1160.66.1.el7.x86_64 #1 SMP Wed May 18 16:02:34 UTC 2022 aarch64 aarch64 aarch64 GNU/Linux
（或者您需要将解释器构建到图像中。）
我们需要在 CentOS 7 的容器内安装 qemu-aarch64-static，因为内核似乎不支持 binfmt_misc 解释器的 F 标志。 F 标志表示：
F - fix binary
The usual behaviour of binfmt_misc is to spawn the binary lazily when the misc format file is invoked. However, this doesn’t work very well in the face of mount namespaces and changeroots, so the F mode opens the binary as soon as the emulation is installed and uses the opened image to spawn the emulator, meaning it is always available once installed, regardless of how the environment changes.
multiarch/qemu-user-static 将设置 F 标志，如果您设置
--persistent yes 在命令行上，但在 CentOS 7 上失败：
$ docker run --rm --privileged multiarch/qemu-user-static --reset
--persistent yes
...
Setting /usr/bin/qemu-aarch64-static as binfmt interpreter for aarch64
sh: write error: Invalid argument
对于最近的 Fedora 发行版（可能还有其他发行版），您只需安装 qemu-user-static 软件包，一切都会正常工作（无需使用 multiarch/qemu-user-static 图像）：
$ cat /etc/fedora-release
Fedora release 34 (Thirty Four)
$ rpm -q qemu-user-static
qemu-user-static-5.2.0-9.fc34.x86_64
$ uname -m
x86_64
$ docker run --platform linux/arm64 --rm oraclelinux:8.5 uname -a
Linux 6f04d17234f5 5.17.6-100.fc34.x86_64 #1 SMP PREEMPT Mon May 9 14:41:31 UTC 2022 aarch64 aarch64 aarch64 GNU/Linux
qemu-user-static 软件包安装所有 binfmt_misc
为您注册。