英特尔 Modin Jupyter 笔记本问题

Intel Modin Jupyter notebook issues

我有两个关于 modin 的问题

  1. 最近我无法使用以下命令创建 modin 环境:

    conda create -n aikit-modin intel-aikit-modin -c intel -c conda-forge

(如 AI Analytics 工具包 link 文档中所述 https://software.intel.com/content/www/us/en/develop/articles/installing-ai-kit-with-conda.html#gs.2irfv6

似乎需要更正文档。

  1. 我能够使用 stock 创建 modin 环境

    conda create -n stock-modin modin -c conda-forge

(参考-https://software.intel.com/content/www/us/en/develop/tools/oneapi/components/distribution-of-modin.html#gs.2isi2d 和带有 Modin 文档的大规模数据科学:

https://medium.com/intel-analytics-software/data-science-at-scale-with-modin-5319175e6b9a)

但是在尝试做 modin 示例时,NYC_Taxi.ipynb,在英特尔 devcloud 的在线 JupyterLab 中,我得到了一个

file save server error JupyterHub server no longer running at /user/uXXXXX/api/contents/modin/examples/jupyter/NYC_Taxi.ipynb. Restart the server at http://jupyter.oneapi.devcloud.intel.com/hub/spawn/uXXXXX

如截图所示。我无法完成笔记本。这似乎是一个内核错误,即使我从 stock-modin 环境创建了一个新内核。

Screenshot

(纽约样本来源:https://github.com/modin-project/modin/tree/master/examples

如何执行Intel Distribution of Modin的样本?有什么解决方法吗?

  1. conda create -n aikit-modin intel-aikit-modin -c intel -c conda-forge

执行此命令需要时间。由于您可以使用 stock 创建 modin 环境,因此您可以使用以下方法执行笔记本。

  1. 作为变通方法,devcloud 隧道是此内核错误的解决方案。打开 Cygwinvscodemobaxtermopenssh 等终端。在执行以下步骤之前,应先设置 devcloud 连接。请参考https://devcloud.intel.com/oneapi/documentation/shell-commands/
  2. 中的Connect to the Devcloud选项

如果您使用上述任何终端连接到 devcloud,请按照以下步骤操作。

在第一个终端执行以下命令

ssh devcloud  //(To connect to devcloud)
qsub -I  //(to request compute node)
copy the compute node  //(it would be of this format sXXX-nXXX)
conda create -n stock-modin modin -c conda-forge  //(to create modin environment using stock)
source activate stock-modin  //(activate modin environment)
conda install pip
conda install ipykernel  //(package for creating kernels)
python -m ipykernel install --user --name myenv --display-name "Python (myenv)"  //(command to create kernels)
jupyter notebook --no-browser --port=<desired_port_number>  //(to launch Jupyter)
Copy any one of the URLs
“Or copy and paste one of these URLs:
http://localhost: <desired_port_number>/?token=2deea502bd258ed648f59eb11383bff4fd0edf5a4ce4f4f3or 
http://127.0.0.1: <desired_port_number>/?token=2deea502bd258ed648f59eb11383bff4fd0edf5a4ce4f4f3”

运行 在另一个终端中执行以下命令:(保持第一个终端打开)

ssh -L <desired_port_number>:localhost: <desired_port_number> devcloud 
ssh -L <desired_port_number>:localhost: <desired_port_number> <compute node you copied> 
  1. 在浏览器中打开复制的URL
  2. 你会得到Jupyter,打开需要的notebook。
  3. Select 您创建的内核
  4. 执行笔记本。