WSO2 流式集成器 - 读取大文件（一百万条记录）并写入另一个文件
WSO2 streaming integrator - read large files (one million of records) and write to another file
我想从一个 CSV 文件中读取一百万条记录，并使用 WSO2 流式集成器写入另一个 CSV 文件。问题是读写数据速度慢，差不多每秒10个。 WSO2 说“在短短 20 分钟内读取包含 1000 万行的 100GB 文件”，但我找不到这样做的示例或指南。
谁能帮帮我？
最后我在这里找到了一些例子 https://ei.docs.wso2.com/en/7.2.0/streaming-integrator/ref/performance-analysis-results/ 有了这些例子我的速度还可以。
batch.size.max 和 buffer.size 在这里是有用的参数。
我想从一个 CSV 文件中读取一百万条记录，并使用 WSO2 流式集成器写入另一个 CSV 文件。问题是读写数据速度慢，差不多每秒10个。 WSO2 说“在短短 20 分钟内读取包含 1000 万行的 100GB 文件”，但我找不到这样做的示例或指南。 谁能帮帮我？
最后我在这里找到了一些例子 https://ei.docs.wso2.com/en/7.2.0/streaming-integrator/ref/performance-analysis-results/ 有了这些例子我的速度还可以。
batch.size.max 和 buffer.size 在这里是有用的参数。