如何在 ami 4.x 中为 hadoop 配置 python 虚拟步骤

Question

在 ami 3 中文件 /home/hadoop/conf/hadoop-user-env.sh 存在。我正在查看的遗留代码能够运行在引导程序中执行此命令。

echo ". /home/hadoop/resources/pips/bin/activate" >> /home/hadoop/conf/hadoop-user-env.sh

这会激活 Python 的虚拟环境。

在 ami 4 中，此文件已消失。我应该如何在 ami 4 下的虚拟环境中将 Hadoop 中的 python 步骤变为运行？

Answer 1

打算试一试，希望对您有所帮助。

在 Amazon EMR AMI 版本 2.x 和 3.x 中，有一个 hadoop-user-env.sh 脚本，它不是标准 Hadoop 的一部分，与配置一起使用- daemons bootstrap 配置 Hadoop 环境的动作。该脚本包括以下操作：

#!/bin/bash 
export HADOOP_USER_CLASSPATH_FIRST=true; 
echo "HADOOP_CLASSPATH=/path/to/my.jar" >> /home/hadoop/conf/hadoop-user-env.sh

在 Amazon EMR 版本 4.x 中，您现在可以使用 hadoop-env 配置执行相同的操作：

[ 
  { 
     "Classification":"hadoop-env",
     "Properties":{ 

     },
     "Configurations":[ 
        { 
           "Classification":"export",
           "Properties":{ 
              "HADOOP_USER_CLASSPATH_FIRST":"true",
              "HADOOP_CLASSPATH":"/path/to/my.jar"
           }
        }
     ]
  }
]

Amazon's Documentation Site.

上有更多关于差异和替换代码的信息

如何在 ami 4.x 中为 hadoop 配置 python 虚拟步骤

How to configure python virtual step for hadoop in ami 4.x

virtualenv

amazon-emr

amazon-ami