如何使用 Python 在现有 AVRO 文件中追加数据
How to append data in existing AVRO file using Python
我有一个具有类似架构的数据框，我需要将数据附加到 AVRO 文件中。我不喜欢将 avro 文件作为一部分添加到文件夹中。供您参考，我的 AVRO 文件没有作为一部分放入文件夹中。你能帮我解决这个任务吗？
您可以在写入dataframe时使用覆盖模式写入数据。
但是创建part文件是因为spark是分布式处理，每个executor根据数据量吐出一个文件
我有一个具有类似架构的数据框，我需要将数据附加到 AVRO 文件中。我不喜欢将 avro 文件作为一部分添加到文件夹中。供您参考，我的 AVRO 文件没有作为一部分放入文件夹中。你能帮我解决这个任务吗？
您可以在写入dataframe时使用覆盖模式写入数据。
但是创建part文件是因为spark是分布式处理，每个executor根据数据量吐出一个文件