PygreSQL 可用于 AWS Glue Spark 作业吗？

Question

我尝试使用 PygreSQL 模块

import pg
import pgdb

但它说在 AWS Glue Spark 上 运行 时找不到模块。

他们的开发者指南 https://docs.aws.amazon.com/glue/latest/dg/glue-dg.pdf 说它适用于 Python Shell 不过。

还有谁能证实这一点吗？ 有没有我可以参考的页面，了解 Python 环境默认提供的库？ 对于 Spark Glue 作业，是否有替代 PostgreSQL 库的 运行？我知道可以通过导入 S3 并在配置中添加路径来使用外部库，但我想尽可能避免手动步骤。

Answer 1

您共享的文档所讨论的库仅供 python shell 工作使用。如果你想在 Glue spark 作业中使用这个库，那么你需要将它打包然后上传到 s3 并将它导入到你的 Glue 作业中。

还有 pg8000 之类的替代品，它也可以用作外部 python 库。This and this 详细讨论了如何打包它，它也可以与 pygresql 库一起使用。

this 还提供了有关如何连接到本地 postgresql 数据库的更多信息。