读取大文件的最佳方式 spring boot
best way of reading large files spring boot
我正在使用 spring 启动和 angular 开发一个应用程序来跟踪日志文件（最大 1gb）中的订单 我愿意听取您关于最佳解决方案的建议，在 spring 中处理和验证文件，我只考虑过 spring 批处理，但是否还有其他可靠的解决方案
好吧，经过良好的研究，我发现了各种解决方案，我认为这个 link 是值得的：https://www.java-success.com/processing-large-files-efficiently-java-part-1/
Q3。有哪些不同的数据大小，可以使用哪些技术来处理它们？
A3.一般来说，数据大小可以分类如下。
1) 多个文件中的小数据 < 10 GB。当您通过流处理它们以节省内存时，它适合单台机器的内存。 Java 的文件处理 API、Apache 通用文件 API、Spring 批处理框架或 Java EE 7 批处理框架都可以使用。
2) 中型数据是 10 GB 到 1 TB 的多个文件。适合单台机器的磁盘space。通过拆分或流处理它们，因为您将无法将所有内容读入内存。 Spring 批处理框架或 Java EE 7 批处理框架都可以使用。
3) 大数据在多个文件中大于 1 TB。存储在多台机器上并以分布式方式处理。例如。 运行 map reduce 或 Spark 作业。
我正在使用 spring 启动和 angular 开发一个应用程序来跟踪日志文件（最大 1gb）中的订单 我愿意听取您关于最佳解决方案的建议，在 spring 中处理和验证文件，我只考虑过 spring 批处理，但是否还有其他可靠的解决方案
好吧，经过良好的研究，我发现了各种解决方案，我认为这个 link 是值得的：https://www.java-success.com/processing-large-files-efficiently-java-part-1/
Q3。有哪些不同的数据大小，可以使用哪些技术来处理它们？ A3.一般来说，数据大小可以分类如下。
1) 多个文件中的小数据 < 10 GB。当您通过流处理它们以节省内存时，它适合单台机器的内存。 Java 的文件处理 API、Apache 通用文件 API、Spring 批处理框架或 Java EE 7 批处理框架都可以使用。
2) 中型数据是 10 GB 到 1 TB 的多个文件。适合单台机器的磁盘space。通过拆分或流处理它们，因为您将无法将所有内容读入内存。 Spring 批处理框架或 Java EE 7 批处理框架都可以使用。
3) 大数据在多个文件中大于 1 TB。存储在多台机器上并以分布式方式处理。例如。 运行 map reduce 或 Spark 作业。