文件依赖时查找其他大文件的大文件-Mule ESB
Large file to LookUp other large file when files are dependent- Mule ESB
能否请您提出建议。我有两个文件，每个文件都有 80 到 90k 的产品，这两个文件相互 linked（一个文件有关于另一个的信息），我需要通过查找其他文件来生成一个文件。这些文件可能在同一时间以不同的名称出现。
这两个文件都是 csv，我需要生成新的 csv。
这是我将这些文件中的任何一个保存在内存中并通过迭代继续查找的唯一方法吗？
我打算在 dataMapper 中使用 Batch。有什么办法可以将第一个文件保留在 Datamapper userDefined table 或类似 that.And 的文件中，让新文件对其进行查找。（我没有提供外部数据库）
如果任何一个文件有 5000 或 10k 行，我可以将其保存在内存中并制作 80k 文件来查看它。我不愿意 table 在内存中保留 80 或 90k 的文件。
参考这个link：。
你能给我建议最好的解决方案吗？
也知道处理文件需要多长时间，提前致谢。
Mule studio:5.3.1 和运行时：3.7.2
从 Mule 的角度来看，我会将问题视为两个不同的事件，并计划在某种 "database" 中保持第一个事件的状态。这不一定是 Oracle 集群或任何东西，例如，您可以 运行 H2 in process or Redis 在与 Mule 相同的服务器上。
我认为您的 Batch 想法是正确的。当收到第一个文件时，我会在批处理作业中为每个文件创建一条记录。然后当收到第二个文件时，我会 运行 第二个批处理作业，从数据库中查找相关信息，并生成您需要的 CSV 文件。它还可以在后续批处理步骤中从数据库中删除已匹配的记录。
对于转换，我建议尝试 DataWeave 而不是 DataMapper。这是编写转换逻辑的更好方法，并且 Mulesoft 已弃用 DataMapper，从 Mule 4.0 开始将被删除。
能否请您提出建议。我有两个文件，每个文件都有 80 到 90k 的产品，这两个文件相互 linked（一个文件有关于另一个的信息），我需要通过查找其他文件来生成一个文件。这些文件可能在同一时间以不同的名称出现。 这两个文件都是 csv，我需要生成新的 csv。
这是我将这些文件中的任何一个保存在内存中并通过迭代继续查找的唯一方法吗？
我打算在 dataMapper 中使用 Batch。有什么办法可以将第一个文件保留在 Datamapper userDefined table 或类似 that.And 的文件中，让新文件对其进行查找。（我没有提供外部数据库）
如果任何一个文件有 5000 或 10k 行，我可以将其保存在内存中并制作 80k 文件来查看它。我不愿意 table 在内存中保留 80 或 90k 的文件。
参考这个link：
你能给我建议最好的解决方案吗？ 也知道处理文件需要多长时间，提前致谢。
Mule studio:5.3.1 和运行时：3.7.2
从 Mule 的角度来看，我会将问题视为两个不同的事件，并计划在某种 "database" 中保持第一个事件的状态。这不一定是 Oracle 集群或任何东西，例如，您可以 运行 H2 in process or Redis 在与 Mule 相同的服务器上。
我认为您的 Batch 想法是正确的。当收到第一个文件时，我会在批处理作业中为每个文件创建一条记录。然后当收到第二个文件时，我会 运行 第二个批处理作业，从数据库中查找相关信息，并生成您需要的 CSV 文件。它还可以在后续批处理步骤中从数据库中删除已匹配的记录。
对于转换，我建议尝试 DataWeave 而不是 DataMapper。这是编写转换逻辑的更好方法，并且 Mulesoft 已弃用 DataMapper，从 Mule 4.0 开始将被删除。