avro-gen 产生了 class 性能

Question

我正在开发一个使用 python 并使用 avro 序列化数据的项目。由于模式很复杂，我使用 avro-gen 使用 avro-schema 生成 类。现在，当我创建和填充这些对象时。我的应用程序变得非常慢，每 20 秒生成 1000 条消息。我有大约 200k 条消息，我想将其序列化并发布到 kafka。

如何提高应用程序的性能？我无法避免使用 avro-gen，这是否是潜在的瓶颈？

Answer 1

您尝试过使用 fastavro 吗？它通常比标准 python avro 库更快。