哪个文件用于 TEXTSUM 中的评估步骤?
Which file to be used for eval step in TEXTSUM?
我正在研究文本摘要的 tensorflow 的 texsum 模型。我正在遵循 github/textsum 自述文件中指定的命令。它说数据文件夹中存在的名为验证的文件将在评估步骤中使用,但数据文件夹中没有验证文件。
本来想自己做一个,后来发现应该是二进制文件。所以我需要准备一个将转换为二进制文件的文本文件。
但是该文本文件必须具有特定格式。它会与训练步骤中使用的文件相同吗?我可以对训练步骤和评估步骤使用相同的文件吗?
我遵循的步骤顺序是:
第 1 步:使用玩具数据集 "updated" 中提到的 vocab 文件训练模型
第 2 步:训练持续一段时间,在 running_avg_loss 得到 "Killed":3.590769
第 3 步:在评估步骤中使用相同的数据和词汇文件,就像在训练中使用的一样,我 运行 评估。它保持 运行 running_avg_loss 在 6 到 7
之间
我对第3步有疑问,是否要使用相同的文件。
因此您不必 运行 评估,除非您实际上是在训练后测试您的模型以确定训练如何针对它以前从未见过的另一组数据。我也一直在唱它来确定我是否开始过度拟合数据。
因此,您通常会使用整个数据集的 20-30% 并将其用于评估过程。然后你开始根据你的训练数据进行训练。一旦完成,您可以根据需要立即 运行 解码,或者您可以 运行 评估您从一开始就预留的 20% - 30% 数据集。一旦您对结果感到满意,您就可以 运行 解码以获得结果。
您的二进制格式应与您的训练数据相同。
我正在研究文本摘要的 tensorflow 的 texsum 模型。我正在遵循 github/textsum 自述文件中指定的命令。它说数据文件夹中存在的名为验证的文件将在评估步骤中使用,但数据文件夹中没有验证文件。
本来想自己做一个,后来发现应该是二进制文件。所以我需要准备一个将转换为二进制文件的文本文件。 但是该文本文件必须具有特定格式。它会与训练步骤中使用的文件相同吗?我可以对训练步骤和评估步骤使用相同的文件吗? 我遵循的步骤顺序是:
第 1 步:使用玩具数据集 "updated" 中提到的 vocab 文件训练模型
第 2 步:训练持续一段时间,在 running_avg_loss 得到 "Killed":3.590769
第 3 步:在评估步骤中使用相同的数据和词汇文件,就像在训练中使用的一样,我 运行 评估。它保持 运行 running_avg_loss 在 6 到 7
之间我对第3步有疑问,是否要使用相同的文件。
因此您不必 运行 评估,除非您实际上是在训练后测试您的模型以确定训练如何针对它以前从未见过的另一组数据。我也一直在唱它来确定我是否开始过度拟合数据。
因此,您通常会使用整个数据集的 20-30% 并将其用于评估过程。然后你开始根据你的训练数据进行训练。一旦完成,您可以根据需要立即 运行 解码,或者您可以 运行 评估您从一开始就预留的 20% - 30% 数据集。一旦您对结果感到满意,您就可以 运行 解码以获得结果。
您的二进制格式应与您的训练数据相同。