训练数据集和测试数据集可以分开而不是拆分吗

Question

我们能否为训练和测试提供单独的数据集。 我正在做一个项目来获取有效的测试用例 作为其中的一部分，我分析了错误数据库并提出了产生错误并到达模型的触发器。所以这个错误数据库构成了我的训练集。 我编写的测试用例是我的测试数据，我必须将此测试数据提供给模型以判断测试用例是否有效。 所以在这种情况下，我必须有两个不同的数据集（来自错误数据库的测试数据）和训练数据（手动生成的测试用例），而不是将数据集拆分为训练数据和测试数据 使用机器学习可以做到这一点吗？请告诉我。

Answer 1

是的，训练数据集和测试数据集可以是单独的文件。在现实世界的案例中，测试数据通常是一些单独的看不见的数据集。

要遵循的主要原则是，在训练模型时，必须将数据集分开（hold out set）以供测试。这些数据可以在不同的文件、数据库中单独提供，甚至可以使用拆分生成。这样做是为了避免数据泄漏（当测试数据以某种方式用于训练模型时）。