运行 Scipy 使用 sparkmooc Vagrant box

Question

我做了 Spark mooc course in EDX。我想在此设置中进一步工作。我可以创建代码和运行一些东西。但是无法更新其中的python。我想安装 python 包 scipy.

我按照群里的指导安装了Anaconda。我可以在 SparkVM 中安装 anaconda。请在下面找到屏幕截图。

但是当我尝试运行当我尝试运行任何需要 "pandas" 或 "scipy" 的代码时，它无法导入它。请在下面找到屏幕截图。谁能帮帮我。

尽管这个问题在这里并不完全相关。但仍然询问，以防万一有人也做了同样的课程并且可以更新 Sparkvm。请在下面找到我的 SparkVM 详细信息的屏幕截图。

非常感谢！

Answer 1

您可以做的最简单的事情就是忽略 Anaconda 并全局安装 SciPy。来自 shell:

sudo aptitude update
sudo aptitude install -y python-scipy

或来自IPython笔记本：

!sudo aptitude update
!sudo aptitude install -y python-scipy

由于系统包通常已过时，您可能更愿意使用 pip:

!pip install --user scipy

要正确配置 Anaconda，您可以编辑 /home/vagrant/spark_notebook.py 和 PYSPARK_PYTHON / PYSPARK_DRIVER_PYTHON 变量：

setenv('PYSPARK_PYTHON', '/path/to/anaconda/bin/python', overwrite=False)
setenv('PYSPARK_DRIVER_PYTHON', '/path/to/anaconda/bin/ipython')

Running Scipy using sparkmooc Vagrant box