AWS EMR Bootstrap 调用附加文件的操作
AWS EMR Bootstrap action calling additional file
我想在设置 AWS EMR（版本 6.0.0）时安装额外的 python 库
我知道我可以通过创建一个名为 boostrap.sh 的文件并将此文件上传到 s3 并设置一个 bootstrap 操作来在设置集群时调用此文件来做到这一点。
bootstrap.sh的内容：
sudo pip3 install mlxtend imbalanced-learn etc etc...
但是我有一个单独的 requirements.txt 文件，其中包含我需要的所有 python 库的列表。
如果我将 'pip3 install -r requirements.txt' 放入 bootstrap.sh，bootstrap.sh 将无法找到 requirements.txt，因为我只允许每个 [=31 上传一个 s3 文件=]行动。
有什么解决办法吗？
您可以将 requirements.txt 从 S3 存储桶复制到 EMR 节点的本地目录，然后 运行 在该文件上进行 pip 安装，例如
#!/bin/bash
aws s3 cp s3://<my-bucket>/requirements.txt .
sudo pip-3.6 install -r requirements.txt
我想在设置 AWS EMR（版本 6.0.0）时安装额外的 python 库
我知道我可以通过创建一个名为 boostrap.sh 的文件并将此文件上传到 s3 并设置一个 bootstrap 操作来在设置集群时调用此文件来做到这一点。 bootstrap.sh的内容：
sudo pip3 install mlxtend imbalanced-learn etc etc...
但是我有一个单独的 requirements.txt 文件，其中包含我需要的所有 python 库的列表。
如果我将 'pip3 install -r requirements.txt' 放入 bootstrap.sh，bootstrap.sh 将无法找到 requirements.txt，因为我只允许每个 [=31 上传一个 s3 文件=]行动。
有什么解决办法吗？
您可以将 requirements.txt 从 S3 存储桶复制到 EMR 节点的本地目录，然后 运行 在该文件上进行 pip 安装，例如
#!/bin/bash
aws s3 cp s3://<my-bucket>/requirements.txt .
sudo pip-3.6 install -r requirements.txt