Mirth 文件 reader - Java 堆 space 错误

Question

我正在使用 Mirth Connect v3.5.2.b204 读取大型逗号分隔值 (147mb) 文件以将行转换为 HL7 v2.4 消息。

来源：我已经配置了一个文件 reader 连接器类型，它从包含 .csv 文件的目录中提取记录。处理后的文件应移动到处理过的文件目录。

目的地：连接器类型指向 TCP 发件人，其中将转换后的 .csv 记录推送到 HL7 消息。

问题：即使在处理完最后一条记录（编号 700k）后，Mirth 似乎仍在继续读取文件。因此，收到的记录计数不断增加并重新发送已处理的消息。请注意，此频道问题并未发生在较小的文件上，例如40MB

决议：我停止了欢乐服务，从源文件夹中删除了 .csv 并重新启动了欢乐服务。由于文件 reader 没有要读取的文件，占用的计数增加，转换处理继续进行。

查询： 1. 这个错误是什么意思？ 2. 转换后的消息是否仍然可行？查看示例，将 .csv 行转换为 HL7 正在执行正确的格式设置。

来自 Mirth 日志的错误消息：

ERROR 2018-04-30 16:32:07,581 [File Reader Polling Thread on data import (342c3cbc-433b-4965-8323-c2aebff38765) < 342c3cbc-433b-4965-8323-c2aebff38765_Worker-1] com.mirth.connect.connectors.file.FileReceiver: Error reading file D:\Mirth_source\Full Data 2 2018_04_27.txt
Java heap space
ERROR 2018-04-30 16:32:07,604 [File Reader Polling Thread on Patient import (342c3cbc-433b-4965-8323-c2aebff38765) < 342c3cbc-433b-4965-8323-c2aebff38765_Worker-1] com.mirth.connect.connectors.file.FileReceiver: Error processing file in channel: 342c3cbc-433b-4965-8323-c2aebff38765
com.mirth.connect.connectors.file.FileConnectorException: Error reading file D:\Mirth_source\Full Data 2 2018_04_27.txt
Java heap space
    at com.mirth.connect.connectors.file.FileReceiver.processFile(FileReceiver.java:371)
    at com.mirth.connect.connectors.file.FileReceiver.processFiles(FileReceiver.java:247)
    at com.mirth.connect.connectors.file.FileReceiver.poll(FileReceiver.java:203)
    at com.mirth.connect.donkey.server.channel.PollConnectorJob.execute(PollConnectorJob.java:49)
    at org.quartz.core.JobRunShell.run(JobRunShell.java:213)
    at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:557)
Caused by: java.lang.OutOfMemoryError: Java heap space
    at java.util.Arrays.copyOf(Unknown Source)
    at java.lang.AbstractStringBuilder.ensureCapacityInternal(Unknown Source)
    at java.lang.AbstractStringBuilder.append(Unknown Source)
    at java.lang.StringBuilder.append(Unknown Source)
    at com.mirth.connect.plugins.datatypes.delimited.DelimitedReader.getChar(DelimitedReader.java:551)
    at com.mirth.connect.plugins.datatypes.delimited.DelimitedReader.getColumnValue(DelimitedReader.java:438)
    at com.mirth.connect.plugins.datatypes.delimited.DelimitedReader.getRecord(DelimitedReader.java:232)
    at com.mirth.connect.plugins.datatypes.delimited.DelimitedBatchAdaptor.getMessage(DelimitedBatchAdaptor.java:152)
    at com.mirth.connect.plugins.datatypes.delimited.DelimitedBatchAdaptor.getMessageFromReader(DelimitedBatchAdaptor.java:105)
    at com.mirth.connect.plugins.datatypes.delimited.DelimitedBatchAdaptor.getNextMessage(DelimitedBatchAdaptor.java:96)
    at com.mirth.connect.donkey.server.message.batch.BatchAdaptor.getMessage(BatchAdaptor.java:44)
    at com.mirth.connect.donkey.server.channel.SourceConnector.dispatchBatchMessage(SourceConnector.java:231)
    at com.mirth.connect.donkey.server.channel.SourceConnector.dispatchBatchMessage(SourceConnector.java:196)
    at com.mirth.connect.connectors.file.FileReceiver.processFile(FileReceiver.java:331)

Answer 1

您可能想研究使用批处理。您可以通过在源设置中将 Process Batch 设置为 Yes 来启用它。

这将导致频道从 CSV 中读取每条记录作为单独的消息，一次一条。当使用文件 Reader 时，也意味着整个文件不会一次全部读入内存。

Mirth 文件 reader - Java 堆 space 错误

Mirth file reader - Java Heap space error

java

mirth

mirth-connect