在 Docker 容器中找不到共享库 libpython3.5(但覆盖工作正常)
Shared Library libpython3.5 not found in Docker Container (but override works fine)
我正在尝试在 Docker 容器中部署使用 CNTK 的 Python Web 服务(带有烧瓶)。我使用 Microsoft 的 Ubuntu-Base-Image,它应该包含 运行 CNTK 的所有必要和正确的程序和库。
脚本在本地工作(在 Windows 上),并且当我 运行 容器并从 cmd 行启动 bash 时
docker exec -it <container_id> bash
并从 "within the container".
开始脚本
一个重要的补充是 python 脚本使用了两个预编译模块,即用于 windows 的 *.pyd 文件和用于 Linux 的 *.so 文件。因此,对于 docker 图像,我将前者替换为后者,以便从容器中 运行ning 脚本。
当我在 Docker 文件中使用 CMD 启动脚本时,问题就开始了。图像的创建没有问题。但是当我用
启动容器时
docker run -p 1234:80 app
我收到以下错误:
...
ImportError: libpython3.5m.so.1.0: cannot open shared object file: No such file or directory
好像图书馆不见了。但是(我重复)当我 运行 容器中 bash 运行ning 中的脚本时(据我所知应该只有容器库),一切正常.我什至可以用
查找图书馆
ldd $(which python)
而且文件肯定在文件夹中。所以问题是为什么 python 在 运行 连接 docker 容器时找不到它的依赖关系。
当我试图通过在环境变量中写入它来明确地给出库的路径时,它甚至变得更奇怪了:
ENV LD_LIBRARY_PATH="${LD_LIBRARY_PATH}:/root/anaconda3/pkgs/python-3.5.2-0/lib/"
然后库似乎找到了库,但不被接受为正确的:
ImportError: dynamic module does not define init function (initcython_bbox)
"cython_bbox" 是要导入的 *.pyd / *.so file/library 之一的名称。这显然是此类文件类型的典型错误。但是我对他们没有任何经验。
我也不在那个时候(在我的个人开发中)能够从外部源编译我自己的文件或自己创建 docker 图像。我依赖于从 Microsoft 获得的部件。但我愿意接受建议。
在使用
导入基本图像后,我也已经尝试在我的 Docker 文件中重新安装库
RUN apt-get install -y libpython3.5
但它引发了与我将路径放入环境变量时相同的错误。
我真的很想知道这里出了什么问题。为什么一切 运行 顺利 "inside the container" 而不是在使用 CMD 初始化容器时自动启动?
有关其他信息,我添加了 Docker 文件:
# Use an official Python runtime as a parent image
FROM microsoft/cntk:2.5.1-cpu-python3.5
# Set the working
directory to /app
WORKDIR /app
# Copy the current directory contents into the container at /app
ADD . /app
RUN apt-get update && apt-get install -y python-pip RUN pip install
--upgrade pip
# Install any needed packages specified in requirements.txt
RUN pip install --trusted-host pypi.python.org -r requirements.txt
# Make port 80 available to the world outside this container
EXPOSE 80
# Run app.py when the container launches
CMD ["python", "test.py"]
项目的其余部分是一个非常简单的 flask-webapp,当我注释掉实际 CNTK 项目的所有导入时,运行s 没有问题。顺便说一句,它是 CNTK Object Detection with Faster-RCNN,因为它可以在 cntk-git-repository 中找到。
编辑:
我知道问题出在哪里了,但还是没有办法解决。问题是,当我用 "docker exec" 启动 bash 时,它 运行 是启动时的一个脚本,它使用 python3.5 和所有整洁的库激活 anaconda 环境。但是当 CMD 刚开始 python 时,这是由标准 Bourne shell "sh" 完成的,其中(正如我所尝试的那样)运行s 与 python2.7。
所以我需要一种方法,要么用 bash 启动我的容器(包括它的自动启动脚本),要么以其他方式在启动时以某种方式激活环境。
我查了一下脚本,它基本上检查 bash 是否是当前的 shell,设置一些环境变量并激活环境。
if [ -z "$BASH_VERSION" ]; then
echo Error: only Bash is supported.
elif [ "$(basename "[=16=]" 2> /dev/null)" == "activate-cntk" ]; then
echo Error: this script is meant to be sourced. Run 'source activate-cntk'
else
export PATH="/cntk/cntk/bin:$PATH"
export LD_LIBRARY_PATH="/cntk/cntk/lib:/cntk/cntk/dependencies/lib:$LD_LIBRARY_PATH"
source "/root/anaconda3/bin/activate" "/root/anaconda3/envs/cntk-py35"
cat <<MESSAGE
************************************************************
CNTK is activated.
Please checkout tutorials and examples here:
/cntk/Tutorials
/cntk/Examples
To deactivate the environment run
source /root/anaconda3/bin/deactivate
************************************************************
MESSAGE
fi
我尝试了很多东西,比如将 sh 链接到 bash
RUN ln -fs /bin/bash /bin/sh
或使用 bash 作为入口点。
我找到了目前有效的解决方法。
首先我在我的环境中手动 link python 到 python3:
RUN ln -fs /root/anaconda3/envs/cntk-py35/bin/python3.5 /usr/bin/python
然后我将环境库添加到库路径:
ENV LD_LIBRARY_PATH "/cntk/cntk/lib:/cntk/cntk/dependencies/lib:$LD_LIBRARY_PATH"
为了确保我将所有重要文件夹添加到 PATH:
ENV PATH "/cntk/cntk/bin:$PATH"
ENV PATH "/root/anaconda3/envs/cntk-py35/bin:$PATH"
然后我必须再次安装我的 python 软件包:
RUN pip install flask
终于可以开始我的脚本了:
CMD ["python", "app.py"]
我也发现这个 GIT Repository 做的事情和我做的差不多。他们还需要启动他们的环境。意识到我需要学习如何编写更好的 Dockerfile。我认为这是正确的方法,即使用 shell 脚本作为 ENTRYPOINT
ENTRYPOINT ["/app/run.sh"]
激活环境,安装额外的 python 包(这可能是个问题)并启动实际的应用程序。
#!/bin/bash
source /root/anaconda3/bin/activate root
pip install easydict
pip install azure-ml-api-sdk==0.1.0a9
pip install sanic
python3 /app/app.py
我正在尝试在 Docker 容器中部署使用 CNTK 的 Python Web 服务(带有烧瓶)。我使用 Microsoft 的 Ubuntu-Base-Image,它应该包含 运行 CNTK 的所有必要和正确的程序和库。
脚本在本地工作(在 Windows 上),并且当我 运行 容器并从 cmd 行启动 bash 时
docker exec -it <container_id> bash
并从 "within the container".
开始脚本一个重要的补充是 python 脚本使用了两个预编译模块,即用于 windows 的 *.pyd 文件和用于 Linux 的 *.so 文件。因此,对于 docker 图像,我将前者替换为后者,以便从容器中 运行ning 脚本。
当我在 Docker 文件中使用 CMD 启动脚本时,问题就开始了。图像的创建没有问题。但是当我用
启动容器时docker run -p 1234:80 app
我收到以下错误:
...
ImportError: libpython3.5m.so.1.0: cannot open shared object file: No such file or directory
好像图书馆不见了。但是(我重复)当我 运行 容器中 bash 运行ning 中的脚本时(据我所知应该只有容器库),一切正常.我什至可以用
查找图书馆ldd $(which python)
而且文件肯定在文件夹中。所以问题是为什么 python 在 运行 连接 docker 容器时找不到它的依赖关系。
当我试图通过在环境变量中写入它来明确地给出库的路径时,它甚至变得更奇怪了:
ENV LD_LIBRARY_PATH="${LD_LIBRARY_PATH}:/root/anaconda3/pkgs/python-3.5.2-0/lib/"
然后库似乎找到了库,但不被接受为正确的:
ImportError: dynamic module does not define init function (initcython_bbox)
"cython_bbox" 是要导入的 *.pyd / *.so file/library 之一的名称。这显然是此类文件类型的典型错误。但是我对他们没有任何经验。
我也不在那个时候(在我的个人开发中)能够从外部源编译我自己的文件或自己创建 docker 图像。我依赖于从 Microsoft 获得的部件。但我愿意接受建议。
在使用
导入基本图像后,我也已经尝试在我的 Docker 文件中重新安装库RUN apt-get install -y libpython3.5
但它引发了与我将路径放入环境变量时相同的错误。
我真的很想知道这里出了什么问题。为什么一切 运行 顺利 "inside the container" 而不是在使用 CMD 初始化容器时自动启动?
有关其他信息,我添加了 Docker 文件:
# Use an official Python runtime as a parent image FROM microsoft/cntk:2.5.1-cpu-python3.5
# Set the working
directory to /app WORKDIR /app
# Copy the current directory contents into the container at /app ADD . /app
RUN apt-get update && apt-get install -y python-pip RUN pip install --upgrade pip
# Install any needed packages specified in requirements.txt RUN pip install --trusted-host pypi.python.org -r requirements.txt
# Make port 80 available to the world outside this container EXPOSE 80
# Run app.py when the container launches CMD ["python", "test.py"]
项目的其余部分是一个非常简单的 flask-webapp,当我注释掉实际 CNTK 项目的所有导入时,运行s 没有问题。顺便说一句,它是 CNTK Object Detection with Faster-RCNN,因为它可以在 cntk-git-repository 中找到。
编辑:
我知道问题出在哪里了,但还是没有办法解决。问题是,当我用 "docker exec" 启动 bash 时,它 运行 是启动时的一个脚本,它使用 python3.5 和所有整洁的库激活 anaconda 环境。但是当 CMD 刚开始 python 时,这是由标准 Bourne shell "sh" 完成的,其中(正如我所尝试的那样)运行s 与 python2.7。
所以我需要一种方法,要么用 bash 启动我的容器(包括它的自动启动脚本),要么以其他方式在启动时以某种方式激活环境。
我查了一下脚本,它基本上检查 bash 是否是当前的 shell,设置一些环境变量并激活环境。
if [ -z "$BASH_VERSION" ]; then
echo Error: only Bash is supported.
elif [ "$(basename "[=16=]" 2> /dev/null)" == "activate-cntk" ]; then
echo Error: this script is meant to be sourced. Run 'source activate-cntk'
else
export PATH="/cntk/cntk/bin:$PATH"
export LD_LIBRARY_PATH="/cntk/cntk/lib:/cntk/cntk/dependencies/lib:$LD_LIBRARY_PATH"
source "/root/anaconda3/bin/activate" "/root/anaconda3/envs/cntk-py35"
cat <<MESSAGE
************************************************************
CNTK is activated.
Please checkout tutorials and examples here:
/cntk/Tutorials
/cntk/Examples
To deactivate the environment run
source /root/anaconda3/bin/deactivate
************************************************************
MESSAGE
fi
我尝试了很多东西,比如将 sh 链接到 bash
RUN ln -fs /bin/bash /bin/sh
或使用 bash 作为入口点。
我找到了目前有效的解决方法。
首先我在我的环境中手动 link python 到 python3:
RUN ln -fs /root/anaconda3/envs/cntk-py35/bin/python3.5 /usr/bin/python
然后我将环境库添加到库路径:
ENV LD_LIBRARY_PATH "/cntk/cntk/lib:/cntk/cntk/dependencies/lib:$LD_LIBRARY_PATH"
为了确保我将所有重要文件夹添加到 PATH:
ENV PATH "/cntk/cntk/bin:$PATH"
ENV PATH "/root/anaconda3/envs/cntk-py35/bin:$PATH"
然后我必须再次安装我的 python 软件包:
RUN pip install flask
终于可以开始我的脚本了:
CMD ["python", "app.py"]
我也发现这个 GIT Repository 做的事情和我做的差不多。他们还需要启动他们的环境。意识到我需要学习如何编写更好的 Dockerfile。我认为这是正确的方法,即使用 shell 脚本作为 ENTRYPOINT
ENTRYPOINT ["/app/run.sh"]
激活环境,安装额外的 python 包(这可能是个问题)并启动实际的应用程序。
#!/bin/bash
source /root/anaconda3/bin/activate root
pip install easydict
pip install azure-ml-api-sdk==0.1.0a9
pip install sanic
python3 /app/app.py