本地 AWS Glue - 没有名为 'awsglue' 的模块
AWS Glue locally - No module named 'awsglue'
我根据 https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-libraries.html#develop-local-python 安装了每个先决条件，但仍然出现 No module named 'awsglue' 错误。
- AWS Glue 版本 3.0，
- 来自以下位置的 Apache Maven：
https://aws-glue-etl-artifacts.s3.amazonaws.com/glue-common/apache-maven-3.6.0-bin.tar.gz
- AWS Glue 版本 3.0：
https://aws-glue-etl-artifacts.s3.amazonaws.com/glue-3.0/spark-3.1.1-amzn-0-bin-3.2.1-amzn-3.tgz
- SPARK_HOME 设置
- 运行
glue-setup.sh 来自 \wsl$\Ubuntu-20.04\home\my_user\aws_ds\glue_libs\aws-glue-libs\bin
- 当我 运行
spark-shell 或 pyspark 时，两者都工作正常
请帮忙调试这个，因为我不知道从哪里开始。
工作解决方案：
- 确保您的 Glue 脚本在
aws-glue-libs 文件夹中 运行
- 在
aws-glue-libs中的jarsv1和your_spark_folder中的jars之间同步jar文件（quava jar可能有两个版本，保留最新的）
要考虑的安装步骤
- 在 WSL2 上获取 Spark：https://phoenixnap.com/kb/install-spark-on-ubuntu
- 记得从
aws-glue-libs\bin 到 运行 glue-setup.sh 作为 Setting up Glue locally 的最后一步
我根据 https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-libraries.html#develop-local-python 安装了每个先决条件，但仍然出现 No module named 'awsglue' 错误。
- AWS Glue 版本 3.0，
- 来自以下位置的 Apache Maven：
https://aws-glue-etl-artifacts.s3.amazonaws.com/glue-common/apache-maven-3.6.0-bin.tar.gz - AWS Glue 版本 3.0：
https://aws-glue-etl-artifacts.s3.amazonaws.com/glue-3.0/spark-3.1.1-amzn-0-bin-3.2.1-amzn-3.tgz - SPARK_HOME 设置
- 运行
glue-setup.sh来自\wsl$\Ubuntu-20.04\home\my_user\aws_ds\glue_libs\aws-glue-libs\bin - 当我 运行
spark-shell或pyspark时，两者都工作正常
请帮忙调试这个，因为我不知道从哪里开始。
工作解决方案：
- 确保您的 Glue 脚本在
aws-glue-libs文件夹中 运行 - 在
aws-glue-libs中的jarsv1和your_spark_folder中的jars之间同步jar文件（quavajar可能有两个版本，保留最新的）
要考虑的安装步骤
- 在 WSL2 上获取 Spark：https://phoenixnap.com/kb/install-spark-on-ubuntu
- 记得从
aws-glue-libs\bin到 运行glue-setup.sh作为 Setting up Glue locally 的最后一步