将大文件上传到 AWS aurora postgres 无服务器

uploading large file to AWS aurora postgres serverless

几天来我一直在尝试将大型 CSV 文件复制到 PostgreSQL 中的 table 我正在使用 PGadmin4 访问数据库。我的系统上有一个文件,该文件大小为 10 GB,因此在尝试通过 UI 或 \copy 命令上传时出现启动错误。

谈到 10 GB CSV 文件时,您也可以使用不同的选项

  • 我相信 \copy 应该可以,您没有提供有关该问题的更多信息

  • 我个人会使用 AWS Glue - 一种可以从 S3 文件读取的 ETL 服务