如何在 AWS glue 中使用从一个胶水脚本到另一个胶水脚本的函数

Question

我有一个 AWS glue pyspark 脚本，例如 scriptA.py。在这个脚本中，我定义了一些通用函数，比如 readSourceData()

def readSourceData（参数 1，参数 2）：

//函数逻辑

现在我想在我的 secong glue pyspark 脚本中使用这个通用函数 scriptB.py。

我有很多这样的通用函数。如何导入这些函数并在其他脚本中使用它们？

Answer 1

您可以使用您的通用函数创建模块并将这些外部 python 模块附加到您的粘合作业中。有关更多信息，您可以阅读 here.

详尽的回答：

1. 您将通用函数捆绑在 python module 中。
2. 然后将模块压缩并上传到 S3。
3. 您将模块在 S3 中的路径添加到 Python 库路径字段中的 Glue 作业

确保您的工作角色可以访问 S3 中的位置。