Tensorflow 迭代器返回元组的问题

Question

我想遍历 TF 数据集，以便将获得的数据转换为 numpy 张量。作为 tensorflow 的新手，这就是我的代码的样子

  def convert_dataset_to_pytorch(self, dataset):
    sess = tf.Session(config=self.config)

    iterator = dataset.make_one_shot_iterator()
    exampleTF, labelsTF = iterator.get_next()

    examples = torch.Tensor()
    labels = torch.Tensor()

    try:
      while True:
        examples = torch.cat((examples,torch.Tensor(exampleTF.eval(session=sess))),0)
        labels = torch.cat((labels,torch.Tensor([labelsTF.eval(session=sess)])),0)
    except tf.errors.OutOfRangeError:
      pass

    return examples, labels

明显的问题是对 eval() 的每次调用都会遍历 exampleTF 和 labelsTF，从而跳过一半的条目。有什么帮助吗？我也试过类似

  def convert_dataset_to_pytorch(self, dataset):
    sess = tf.Session(config=self.config)

    iterator = dataset.make_one_shot_iterator()
    next_element = iterator.get_next()

    examples = torch.Tensor()
    labels = torch.Tensor()

    try:
      while True:
        sess.run(next_element)
        examples = torch.cat((examples,torch.Tensor(next_element[0])),0)
        labels = torch.cat((labels,torch.Tensor([next_element[0]])),0)
    except tf.errors.OutOfRangeError:
      pass

    return examples, labels

但这只会导致形式错误

examples = torch.cat((examples,torch.Tensor(next_element[0])),0)
TypeError: object of type 'Tensor' has no len()

Answer 1

不确定为什么要在 tensorflow 中创建 pytorch 张量，而你想要的只是一个 numpy 张量。回答你的问题（下面提到）

iterate over a TF dataset in order to convert the obtained data to numpy tensors.

示例代码：

import numpy as np

inc_dataset = tf.data.Dataset.range(100)
dec_dataset = tf.data.Dataset.range(0, -100, -1)
dataset = tf.data.Dataset.zip((inc_dataset, dec_dataset))

iterator = dataset.make_one_shot_iterator()
next_element = iterator.get_next()

result = list()
with tf.Session() as sess:
    try:
        while True:
          result.append(sess.run(next_element)) 
    except tf.errors.OutOfRangeError:
          pass

examples = np.array(list(zip(*result))[0])
labels = np.array(list(zip(*result))[1])

现在您可以将 examples 和 labels np 数组转换为 pytorch 或 tensorflow 张量或您想要的任何张量。