ATIS(航空旅行信息系统)数据集的结构是什么
What is the structure of ATIS (Airline Travel Information System) dataset
当我使用 ATIS(航空旅行信息系统)数据集(http://lisaweb.iro.umontreal.ca/transfert/lisa/users/mesnilgr/atis/)在递归神经网络中进行研究时。我对它的结构感到困惑。
比如我用data = pickle.load(open("./dataset/atis.fold0.pkl", "rb"),encoding='iso-8859-1')
加载atis后fold0.pkl,我用print (np.shape(data_train))
得到(4,)
。我认为数据[0]是训练集,数据[1]是有效集,数据[2]是测试集,数据[3]是字典。
但是当我使用 print(np.shape(data[0]))
时,我得到 (3, 3983)
。我想知道为什么我得到 3 行?这三行之间有什么区别。
和文件atis.fold0.pkl、atis.fold1.pkl、atis.fold2.pkl、atis.fold3.pkl、atis.fold4.pkl有什么区别?
f = gzip.open(filename, 'rb')
try:
train_set, valid_set, test_set, dicts = pickle.load(f, encoding='latin1')
except:
train_set, valid_set, test_set, dicts = pickle.load(f)
print np.shape(train_set)
pickle的每一个都可以分为training,validation,testing,还有它的字典。当您看到字典元素时,它们包含
words2idx
tables2idx
labels2idx
现在测试下面的代码
for i in train_set:
print len(i[0])
它将return 相同长度的文件。
所以第一个元素是 words.Second 是 tables2idx 第三个是插槽填充的最终结果 (labels2idx)
用dict来解密id,你就明白了。
当我使用 ATIS(航空旅行信息系统)数据集(http://lisaweb.iro.umontreal.ca/transfert/lisa/users/mesnilgr/atis/)在递归神经网络中进行研究时。我对它的结构感到困惑。
比如我用data = pickle.load(open("./dataset/atis.fold0.pkl", "rb"),encoding='iso-8859-1')
加载atis后fold0.pkl,我用print (np.shape(data_train))
得到(4,)
。我认为数据[0]是训练集,数据[1]是有效集,数据[2]是测试集,数据[3]是字典。
但是当我使用 print(np.shape(data[0]))
时,我得到 (3, 3983)
。我想知道为什么我得到 3 行?这三行之间有什么区别。
和文件atis.fold0.pkl、atis.fold1.pkl、atis.fold2.pkl、atis.fold3.pkl、atis.fold4.pkl有什么区别?
f = gzip.open(filename, 'rb')
try:
train_set, valid_set, test_set, dicts = pickle.load(f, encoding='latin1')
except:
train_set, valid_set, test_set, dicts = pickle.load(f)
print np.shape(train_set)
pickle的每一个都可以分为training,validation,testing,还有它的字典。当您看到字典元素时,它们包含
words2idx
tables2idx
labels2idx
现在测试下面的代码
for i in train_set:
print len(i[0])
它将return 相同长度的文件。 所以第一个元素是 words.Second 是 tables2idx 第三个是插槽填充的最终结果 (labels2idx)
用dict来解密id,你就明白了。