TensorFlow：从 NSynth 数据集中提取具有给定特征的数据

Question

我有一组序列化 TensorFlow 示例协议缓冲区的 TFRecord 文件数据集，每个注释有一个示例原型，从 https://magenta.tensorflow.org/datasets/nsynth 下载。我正在使用大约 1 Gb 的测试集，以防有人要下载它，检查下面的代码。每个示例包含许多功能：音高、乐器 ...

读入这个数据的代码是：

import tensorflow as tf
import numpy as np

sess = tf.InteractiveSession()

# Reading input data
dataset = tf.data.TFRecordDataset('../data/nsynth-test.tfrecord')

# Convert features into tensors
features = {
"pitch": tf.FixedLenFeature([1], dtype=tf.int64),
"audio": tf.FixedLenFeature([64000], dtype=tf.float32),
"instrument_family": tf.FixedLenFeature([1], dtype=tf.int64)}

parse_function = lambda example_proto: tf.parse_single_example(example_proto,features)
dataset = dataset.map(parse_function)

# Consuming TFRecord data.
dataset = dataset.shuffle(buffer_size=10000)
dataset = dataset.batch(batch_size=3)
dataset = dataset.repeat()
iterator = dataset.make_one_shot_iterator()
batch = iterator.get_next()
sess.run(batch)

现在，音高范围从 21 到 108。但我只想考虑给定音高的数据，例如pitch = 51。如何从整个数据集中提取这个 "pitch=51" 子集？或者，我该怎么做才能让我的迭代器只通过这个子集？

Answer 1

你的东西看起来不错，就是缺少过滤功能。

例如，如果您只想提取 pitch=51，则应在地图函数后添加

dataset = dataset.filter(lambda example: tf.equal(example["pitch"][0], 51))

TensorFlow：从 NSynth 数据集中提取具有给定特征的数据

TensorFlow: extract data with a given feature, from NSynth Dataset

python-3.x

tensorflow

magenta