AWS Glue python shell - 使用多个库
AWS Glue python shell - Using multiple libraries
我使用的是 AWS 胶水 python shell。该程序使用多个 python 库，这些库本身不适用于 AWS。 Glue 可以将 .egg 或 .whl 文件用于外部库引用。我们需要做的就是将这些 .egg 或 .whl 文件放在某个 S3 位置并使用它的完整路径指向它。我尝试使用一个外部库 [例如 openpyxl]，它起作用了。现在的问题是，因为我有多个外部库，如 pandas、numpy、openpyxl 和 pytz 需要引用，我无法提供所有这些包的完整路径，因为只能将路径指定为外部 python 库引用.我试着给放置所有这些包的 s3 文件夹名称，它不起作用。
如何指定这些多文件 .egg 或 .whl 文件以便我的粘合作业可以使用它们。
gbeaven 已经回答了这个问题，但由于某些原因我无法将其标记为答案。这是通过逗号分隔附加 python 模块中的文件路径来解决的。
- 将您的库以 (.whl) 格式保存在 s3 位置。
- 您可以在“Python 库路径”中以逗号分隔格式添加库。
示例- s3://libs/xyz.whl, s3://libs/abc.whl
我使用的是 AWS 胶水 python shell。该程序使用多个 python 库，这些库本身不适用于 AWS。 Glue 可以将 .egg 或 .whl 文件用于外部库引用。我们需要做的就是将这些 .egg 或 .whl 文件放在某个 S3 位置并使用它的完整路径指向它。我尝试使用一个外部库 [例如 openpyxl]，它起作用了。现在的问题是，因为我有多个外部库，如 pandas、numpy、openpyxl 和 pytz 需要引用，我无法提供所有这些包的完整路径，因为只能将路径指定为外部 python 库引用.我试着给放置所有这些包的 s3 文件夹名称，它不起作用。
如何指定这些多文件 .egg 或 .whl 文件以便我的粘合作业可以使用它们。
gbeaven 已经回答了这个问题，但由于某些原因我无法将其标记为答案。这是通过逗号分隔附加 python 模块中的文件路径来解决的。
- 将您的库以 (.whl) 格式保存在 s3 位置。
- 您可以在“Python 库路径”中以逗号分隔格式添加库。 示例- s3://libs/xyz.whl, s3://libs/abc.whl