将多个 CSV 文件合并为 S3 中的单个文件
Merging multiple CSV files into a single file in S3
我希望在 S3 中获取一些文件并将它们全部合并到一个大文件中（所有文件都具有相同的列）。
是否可以在不下载文件的情况下实现此？直接在 S3 上使用 Pyhton？不使用 ECS/Lambda.
我看到“UploadPartCopy”和“UploadPart”可能有帮助，但我不确定。
我会注意到文件大小可能会有所不同，从 500KB 到 27MB。
过去是通过从 S3 中获取文件并将其合并到一个大的 DataFrame 中，然后再次上传到 S3 来执行此操作的。这很好用，但机器开始崩溃，因为它有太多文件...
谢谢
I am looking to take a few files in S3 and merging all of them to one big file (All files have the same columns). Is it possible to achieve this without downloading the files? Directly on S3 using Pyhton? Without using ECS/Lambda.
不，这不可能。 S3 根本不会 运行 为您编写代码，它只是存储文件。您根本无法 运行 Python 在 S3 或任何其他编程语言上编写代码。
我希望在 S3 中获取一些文件并将它们全部合并到一个大文件中（所有文件都具有相同的列）。 是否可以在不下载文件的情况下实现此？直接在 S3 上使用 Pyhton？不使用 ECS/Lambda.
我看到“UploadPartCopy”和“UploadPart”可能有帮助，但我不确定。
我会注意到文件大小可能会有所不同，从 500KB 到 27MB。
过去是通过从 S3 中获取文件并将其合并到一个大的 DataFrame 中，然后再次上传到 S3 来执行此操作的。这很好用，但机器开始崩溃，因为它有太多文件...
谢谢
I am looking to take a few files in S3 and merging all of them to one big file (All files have the same columns). Is it possible to achieve this without downloading the files? Directly on S3 using Pyhton? Without using ECS/Lambda.
不，这不可能。 S3 根本不会 运行 为您编写代码，它只是存储文件。您根本无法 运行 Python 在 S3 或任何其他编程语言上编写代码。