Tensorflow 无法在评估过程中恢复词汇

Question

我是张量流和神经网络的新手。我开始了一个关于检测波斯文本错误的项目。我使用了 this address and developed the code in here 中的代码。请检查代码，因为我无法将所有代码放在这里。

我想做的是给模型训练几个波斯语句子，然后看看模型能不能检测出错误的句子。该模型适用于英语数据，但当我将其用于波斯语数据时，我遇到了这个问题。

代码太长，无法写在这里，所以我试着指出我认为可能导致问题的部分。我在 train.py 中使用了这些行，它工作正常并存储词汇表：

x_text, y = data_helpers.load_data_labels(datasets)
# Build vocabulary
max_document_length = max([len(x.split(" ")) for x in x_text])
vocab_processor = learn.preprocessing.VocabularyProcessor(max_document_length)
x = np.array(list(vocab_processor.fit_transform(x_text)))

但是在训练之后当我在 eval.py 中尝试此代码时：

vocab_path = os.path.join(FLAGS.checkpoint_dir, "..", "vocab")
vocab_processor = learn.preprocessing.VocabularyProcessor.restore(vocab_path)
x_test = np.array(list(vocab_processor.transform(x_raw)))

发生此错误：

vocab_processor = learn.preprocessing.VocabularyProcessor.restore(vocab_path)
File "C:\WinPython-64bit-3.5.2.3Qt5\python-3.5.2.amd64\lib\site-packages\tensorflow\contrib\learn\python\learn\preprocessing\text.py", line 226, in restore
return pickle.loads(f.read())
File "C:\WinPython-64bit-3.5.2.3Qt5\python-3.5.2.amd64\lib\site-packages\tensorflow\python\lib\io\file_io.py", line 118, in read
self._preread_check()
 File "C:\WinPython-64bit-3.5.2.3Qt5\python-3.5.2.amd64\lib\site-packages\tensorflow\python\lib\io\file_io.py", line 78, in _preread_check
  compat.as_bytes(self.__name), 1024 * 512, status)
 File "C:\WinPython-64bit-3.5.2.3Qt5\python-3.5.2.amd64\lib\contextlib.py", line 66, in __exit__
 next(self.gen)
 File "C:\WinPython-64bit-3.5.2.3Qt5\python-3.5.2.amd64\lib\site-packages\tensorflow\python\framework\errors_impl.py", line 466, in raise_exception_on_not_ok_status
pywrap_tensorflow.TF_GetCode(status))
tensorflow.python.framework.errors_impl.NotFoundError: NewRandomAccessFile failed to Create/Open: ..\vocab : The system cannot find the file specified.

我认为问题是因为它无法读取训练后存储的词汇表，因为数据是 unicode 而不是英语。谁能帮帮我

Answer 1

您是否尝试过将此添加到文件顶部？

# -*- coding: utf-8 -*-

Answer 2

出现这个问题的原因是vocab地址不正确。在设置了 out_dir 的第 144 行之后的 train.py 中，我添加了这个：

file = open('model_dir.txt', 'w')
file.write(out_dir)
file.close()

模型训练完成后，地址保存在目录中的一个名为model_dir.txt.

的文件中

然后在 eval.py 我添加了这个：

model_dir = open('model_dir.txt').readline()
vocab_path = model_dir + "/vocab"

现在，地址设置正确，代码运行没有问题。

Tensorflow 无法在评估过程中恢复词汇

Tensorflow can not restore vocabulary in evaluation process

python

python-unicode

tensorflow