如何在 Azure HDInsight 上升级 Python 版本

How to upgrade Python version on Azure HDInsight

我们需要使用只能在 Python 3.6 或更高版本上运行的外部库。不幸的是,HDInsight 默认只安装了 Python 3.5。 有没有办法在 HDInsight 上升级 Python 的次要版本?

Azure 官方文档没有提及。

https://docs.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-python-package-installation

Microsoft Q&A所述:

It's not recommended as using non-cluster built-in Python versions are unsupported scenario.

警告!:HDInsight 群集依赖于 built-in Python 环境 - Python 3.5.在这些默认 built-in 环境中直接安装自定义包可能会导致意外的库版本更改。并进一步打破集群。

If you want to install, you can use Python 3.6, change “python=3.5” in this command to python=3.6, and follow the rest steps in the document works.

sudo /usr/bin/anaconda/bin/conda create --prefix /usr/bin/anaconda/envs/py36new python=3.6 anaconda –yes