如何将安装在一台机器上的Anaconda env传输到服务器?
How to transfer Anaconda env installed on one machine to server?
有什么方法可以 transfer/copy 我现有的环境(已经安装了所有东西)到服务器吗?
$ conda env export > environment.yaml
- 我已经使用上面的命令创建了 .yaml 文件
- 任何人都可以告诉我如何在服务器端使用这个文件吗?
spark-submit --properties-file config.properties --jars /home/PycharmProjects/spark-excel_2.11-0.11.1.jar,/home/PycharmProjects/mongo-spark-connector_2.11-2.4.1.jar /home/PycharmProjects/NewConnection.py 9dhd38910242a7b9793ed3
- 通过激活 conda 环境在本地系统上使用上述命令 运行。
- 所以我的下一步是运行服务器端的相同代码
首先我们需要使用下面的命令打包conda env
激活你想要打包的 conda env 然后使用下面的命令
(your_conda_env) vishal@vishal-linux:~$ conda pack -n your_conda_env
打包环境后,它将创建“your_conda_env.tar.gz”文件夹
您可以将此文件夹移动到服务器(或任何其他机器)上并使用以下命令 运行 您的 spark 作业
PYSPARK_PYTHON=/home/vishal/your_conda_env/bin/python spark-submit --properties-file config.properties --jars /home/PycharmProjects/spark-excel_2.11-0.11.1.jar,/home/PycharmProjects/mongo-spark-connector_2.11-2.4.1.jar /home/PycharmProjects/NewConnection.py 9dhd38910242a7b9793ed3
有什么方法可以 transfer/copy 我现有的环境(已经安装了所有东西)到服务器吗?
$ conda env export > environment.yaml
- 我已经使用上面的命令创建了 .yaml 文件
- 任何人都可以告诉我如何在服务器端使用这个文件吗?
spark-submit --properties-file config.properties --jars /home/PycharmProjects/spark-excel_2.11-0.11.1.jar,/home/PycharmProjects/mongo-spark-connector_2.11-2.4.1.jar /home/PycharmProjects/NewConnection.py 9dhd38910242a7b9793ed3
- 通过激活 conda 环境在本地系统上使用上述命令 运行。
- 所以我的下一步是运行服务器端的相同代码
首先我们需要使用下面的命令打包conda env
激活你想要打包的 conda env 然后使用下面的命令
(your_conda_env) vishal@vishal-linux:~$ conda pack -n your_conda_env
打包环境后,它将创建“your_conda_env.tar.gz”文件夹
您可以将此文件夹移动到服务器(或任何其他机器)上并使用以下命令 运行 您的 spark 作业
PYSPARK_PYTHON=/home/vishal/your_conda_env/bin/python spark-submit --properties-file config.properties --jars /home/PycharmProjects/spark-excel_2.11-0.11.1.jar,/home/PycharmProjects/mongo-spark-connector_2.11-2.4.1.jar /home/PycharmProjects/NewConnection.py 9dhd38910242a7b9793ed3