从 Tensorflow 中的文件队列访问文件名

Question

我有一个图像目录，以及一个将图像文件名与标签相匹配的单独文件。所以图像目录有像 'train/001.jpg' 这样的文件，标签文件看起来像：

train/001.jpg 1
train/002.jpg 2
...

通过从文件名创建文件队列，我可以轻松地从 Tensor Flow 中的图像目录加载图像：

filequeue = tf.train.string_input_producer(filenames)
reader = tf.WholeFileReader()
img = reader.read(filequeue)

但我不知道如何将这些文件与标签文件中的标签结合起来。看来我需要在每一步访问队列中的文件名。有办法得到它们吗？此外，一旦我有了文件名，我就需要能够查找由文件名键入的标签。标准的 Python 字典似乎行不通，因为这些计算需要在图中的每一步进行。

Answer 1

鉴于您的数据不是太大，您无法将文件名列表作为 python 数组提供，我建议只在 Python 中进行预处理。创建文件名和标签的两个列表（相同顺序），并将它们插入 randomshufflequeue 或队列中，然后从中出列。如果你想要 string_input_producer 的 "loops infinitely" 行为，你可以在每个纪元开始时重新运行 'enqueue'。

一个非常玩具的例子：

import tensorflow as tf

f = ["f1", "f2", "f3", "f4", "f5", "f6", "f7", "f8"]
l = ["l1", "l2", "l3", "l4", "l5", "l6", "l7", "l8"]

fv = tf.constant(f)
lv = tf.constant(l)

rsq = tf.RandomShuffleQueue(10, 0, [tf.string, tf.string], shapes=[[],[]])
do_enqueues = rsq.enqueue_many([fv, lv])

gotf, gotl = rsq.dequeue()

with tf.Session() as sess:
    sess.run(tf.initialize_all_variables())
    tf.train.start_queue_runners(sess=sess)
    sess.run(do_enqueues)
    for i in xrange(2):
        one_f, one_l = sess.run([gotf, gotl])
        print "F: ", one_f, "L: ", one_l

关键是当您执行 enqueue 时，您实际上是在排队 filenames/labels，并且这些对由 dequeue 返回。

Answer 2

这是我能够做到的。

我首先打乱文件名并将标签与它们匹配 Python:

np.random.shuffle(filenames)
labels = [label_dict[f] for f in filenames]

然后为关闭随机播放的文件名创建了一个 string_input_producer，并为标签创建了一个 FIFO：

lv = tf.constant(labels)
label_fifo = tf.FIFOQueue(len(filenames),tf.int32, shapes=[[]])
file_fifo = tf.train.string_input_producer(filenames, shuffle=False, capacity=len(filenames))
label_enqueue = label_fifo.enqueue_many([lv])

然后为了读取图像，我可以使用 WholeFileReader 并获取标签，我可以使 fifo 出队：

reader = tf.WholeFileReader()
image = tf.image.decode_jpeg(value, channels=3)
image.set_shape([128,128,3])
result.uint8image = image
result.label = label_fifo.dequeue()

并按如下方式生成批次：

min_fraction_of_examples_in_queue = 0.4
min_queue_examples = int(num_examples_per_epoch *
                         min_fraction_of_examples_in_queue)
num_preprocess_threads = 16
images, label_batch = tf.train.shuffle_batch(
  [result.uint8image, result.label],
  batch_size=FLAGS.batch_size,
  num_threads=num_preprocess_threads,
  capacity=min_queue_examples + 3 * FLAGS.batch_size,
  min_after_dequeue=min_queue_examples)

Answer 3

您可以利用 tf.py_func() 实现从文件路径到标签的映射。

files = gfile.Glob(data_pattern)
filename_queue = tf.train.string_input_producer(
files, num_epochs=num_epochs, shuffle=True) #  list of files to read

def extract_label(s):
    # path to label logic for cat&dog dataset
    return 0 if os.path.basename(str(s)).startswith('cat') else 1

def read(filename_queue):
  key, value = reader.read(filename_queue)
  image = tf.image.decode_jpeg(value, channels=3)
  image = tf.cast(image, tf.float32)
  image = tf.image.resize_image_with_crop_or_pad(image, width, height)
  label = tf.cast(tf.py_func(extract_label, [key], tf.int64), tf.int32)
  label = tf.reshape(label, [])

training_data = [read(filename_queue) for _ in range(num_readers)]

...

tf.train.shuffle_batch_join(training_data, ...)

Answer 4

我用过这个：

 filename = filename.strip().decode('ascii')

Answer 5

另一个建议是以 TFRecord 格式保存您的数据。在这种情况下，您可以将所有图像和所有标签保存在同一个文件中。对于大量文件，它具有很多优势：

可以在同一个地方存储数据和标签
数据集中在一处（不用记各种目录）
如果有很多文件（图片），opening/closing一个文件很耗时。从ssd/hdd找文件位置也需要时间

从 Tensorflow 中的文件队列访问文件名

Accessing filename from file queue in Tensor Flow

python

tensorflow