如何使用 Encog Java 训练大集合？
How to train huge sets with Encog Java?
我有大量数据需要训练（千兆字节的数据）。
有什么方法可以按需加载和卸载吗？
分成小块会不会更好，假设每个小块 100 MB，然后训练每个子集直到错误消失。完成后，重新开始，直到所有错误都足够好？
谢谢
那么，您是否尝试过使用所有数据训练时会发生什么？
应该可以使用 encogs BufferedNeuralDataSet
This class is not memory based, so very long files can be used, without running out of memory. This dataset uses a Encog binary training file as a buffer. When used with a slower access dataset, such as CSV, XML or SQL, where parsing must occur, this dataset can be used to load from the slower dataset and train at much higher speeds.
此外，我认为仅使用小子集进行训练不会获得好的结果，因为您降低了第一个子集的误差，然后使用可能包含非常不同的数据的第二个子集进行了重新训练，从而训练了网络出现错误，这对第一组不利，依此类推...
我有大量数据需要训练（千兆字节的数据）。
有什么方法可以按需加载和卸载吗？
分成小块会不会更好，假设每个小块 100 MB，然后训练每个子集直到错误消失。完成后，重新开始，直到所有错误都足够好？
谢谢
那么，您是否尝试过使用所有数据训练时会发生什么？
应该可以使用 encogs BufferedNeuralDataSet
This class is not memory based, so very long files can be used, without running out of memory. This dataset uses a Encog binary training file as a buffer. When used with a slower access dataset, such as CSV, XML or SQL, where parsing must occur, this dataset can be used to load from the slower dataset and train at much higher speeds.
此外，我认为仅使用小子集进行训练不会获得好的结果，因为您降低了第一个子集的误差，然后使用可能包含非常不同的数据的第二个子集进行了重新训练，从而训练了网络出现错误，这对第一组不利，依此类推...