TF DATA API：如何生成对象集识别的张量流输入

Question

考虑这个问题：select 来自图像数据集（如 ImageNet）中随机主题的随机样本数作为 Tensorflow 图的输入元素，它充当对象集识别器。对于每个批次，每个 class 具有相同数量的样本以方便计算。但是不同的批次会有不同数量的图像 class，即 batch_0:num_imgs_per_cls=2; batch_1000:num_imgs_per_cls=3。

如果 Tensorflow 中有现有功能，我们将不胜感激从头开始（例如从图像目录）解释整个过程。

Answer 1

@mrry 的回答非常相似。

抽样平衡批次

在人脸识别中我们经常使用triplet loss（或者类似的loss）来训练模型。对三元组进行采样以计算损失的通常方法是创建一个平衡的图像批次，例如我们有 10 个不同的 classes（即 10 个不同的人）和 5 个图像每个。在此示例中，总批处理大小为 50。

更普遍的问题是对 num_classes_per_batch（示例中的 10）classes 进行采样，然后对每个 [=64] 的图像进行采样 num_images_per_class（示例中的 5）图像=].总批量大小为：

batch_size = num_classes_per_batch * num_images_per_class

每个 class

有一个数据集

处理大量不同 classes（MS-Celeb 中有 100,000 个）的最简单方法是为每个 class.
创建一个数据集例如，您可以为每个 class 创建一个 tfrecord 并创建这样的数据集：

# Build one dataset per class.
filenames = ["class_0.tfrecords", "class_1.tfrecords"...]
per_class_datasets = [tf.data.TFRecordDataset(f).repeat(None) for f in filenames]

来自数据集的样本

现在我们希望能够从这些数据集中进行采样。例如，我们希望在我们的批次中使用以下标签：

1 1 1 3 3 3 9 9 9 4 4 4

这对应于num_classes_per_batch=4和num_images_per_class=3。

为此，我们需要使用将在 r1.9 中发布的功能。该函数应称为 tf.contrib.data.choose_from_datasets（有关此的讨论，请参阅 here）。
它应该看起来像：

def choose_from_datasets(datasets, selector):
    """Chooses elements with indices from selector among the datasets in `datasets`."""

所以我们创建这个 selector 它将输出 1 1 1 3 3 3 9 9 9 4 4 4 并将其与 datasets 结合以获得我们将输出平衡批次的最终数据集：

def generator(_):
    # Sample `num_classes_per_batch` classes for the batch
    sampled = tf.random_shuffle(tf.range(num_classes))[:num_classes_per_batch]
    # Repeat each element `num_images_per_class` times
    batch_labels = tf.tile(tf.expand_dims(sampled, -1), [1, num_images_per_class])
    return tf.to_int64(tf.reshape(batch_labels, [-1]))

selector = tf.contrib.data.Counter().map(generator)
selector = selector.apply(tf.contrib.data.unbatch())

dataset = tf.contrib.data.choose_from_datasets(datasets, selector)

# Batch
batch_size = num_classes_per_batch * num_images_per_class
dataset = dataset.batch(batch_size)

您可以使用每晚的 TensorFlow 构建来测试它，并使用 DirectedInterleaveDataset 作为解决方法：

# The working option right now is 
from tensorflow.contrib.data.python.ops.interleave_ops import DirectedInterleaveDataset
dataset = DirectedInterleaveDataset(selector, datasets)

我也写过这个解决方法 here。

TF DATA API：如何生成对象集识别的张量流输入

TF DATA API: How to produce tensorflow input to object set recognition

tensorflow

tensorflow-datasets

抽样平衡批次

每个 class

来自数据集的样本