处理来自多个平面文件的大量数据并根据需要转换为 xml 格式
Processing huge data from multiple flat files and convert into xml formation based on requirement
我们需要为数据库中多个 table 中可用的数据形成 XML 标签。(例如:客户(一行)、地址(1 行)、Phone(3 行)到单个 XML 标签。
所以要将其作为平面文件从数据库中导出,因为数十亿条记录存在于不同的 table 中。
有了这些平面文件,需要形成xml个标签。我尝试使用 Guava Table 加载这些数据并根据行标识符进行获取。但是在 Guava table 中加载大量数据时,出现以下错误。关于使用正确方法的任何指示?
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.lang.StringBuilder.toString(Unknown Source)
at TableExample.substringeliminateDemo(TableExample.java:93)
希望你是运行默认的Xmx参数。尝试使用较大的 Xmx 值。 运行 与 java -Xmx4g 得到一个大堆 space(在本例中为 4GB)。然而,正确的方法是以较小的批量加载数据——而不是整个 table 数据。
我们需要为数据库中多个 table 中可用的数据形成 XML 标签。(例如:客户(一行)、地址(1 行)、Phone(3 行)到单个 XML 标签。
所以要将其作为平面文件从数据库中导出,因为数十亿条记录存在于不同的 table 中。
有了这些平面文件,需要形成xml个标签。我尝试使用 Guava Table 加载这些数据并根据行标识符进行获取。但是在 Guava table 中加载大量数据时,出现以下错误。关于使用正确方法的任何指示?
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.lang.StringBuilder.toString(Unknown Source)
at TableExample.substringeliminateDemo(TableExample.java:93)
希望你是运行默认的Xmx参数。尝试使用较大的 Xmx 值。 运行 与 java -Xmx4g 得到一个大堆 space(在本例中为 4GB)。然而,正确的方法是以较小的批量加载数据——而不是整个 table 数据。