如何使用生成器或其他方式设置 TF 2.4 训练数据

Question

我有一个具有一个输入和两个输出的模型设置。我正在尝试使用

到目前为止，我所有的尝试都有运行错误，我只能假设这是基于我尝试设置的生成器的输出中涉及的 shape/types。这种生成器的输出应该是什么格式？我也非常愿意接受以不同方式做这件事的建议如果你想浏览

输入

模型的输入是形状

(None,)

并且属于

类型

tf.string

我可以通过

获得模型输出

model(tf.constant(['Hello TensorFlow!']))

产出

模型有两个输出头，第一个是形状

(None, 128, 5)

第二个是形状

(None, 128, 3)

它们都是

类型

tf.float32

我的模型的损失是稀疏分类交叉熵。（对于 128 个输出中的每一个，我想要一个跨越 5 或 3 类的 softmax，具体取决于头部，None 用于批量大小）。我认为正确的输出格式是以下格式 batch_size 实例的元组

(input_string, (output_for_head1, output_for_head2))

其中 input_string 是一个字符串，output_for_head1 和 output_for_head2 都是形状为 (128) 且类型为 int 的 numpy 数组。

我试过一些随机的东西直接安装在发电机上

产出单个项目而不是整个批次（所有测试使用批次大小 10）

获取索引越界错误 - 很确定这需要批处理

整批产量

获取错误

    Data is expected to be in format `x`, `(x,)`, `(x, y)`, or `(x, y, sample_weight)`, found: ((<tf.Tensor: shape=(), dtype=string, numpy=b'Ya Yeet'>, (<tf.Tensor: shape=(128,), dtype=int64, numpy=... ( a very long set of (128,) tensors which is too large to post here)


     [[{{node PyFunc}}]]
     [[IteratorGetNext]] [Op:__inference_train_function_95064]

Function call stack:
train_function

Answer 1

我找到了使用生成器解决此问题的方法。我能够首先创建一个生成器，生成可以直接训练模型的 numpy 数组，然后从该生成器的略微修改版本创建一个 tf.data 数据集。

解决方案是每批只输出 3 个 numpy 数组，例如 input_arr, (output_arr1, output_arr2) 每个数组的形状已扩展为在左侧具有批处理大小，而不是长度为 batch_size 的元组。

最终生成器如下所示

def text_data_generator(dataset_path, batch_size, input_text_col='text', output_classes_col='labels', classes=CLASSES, continuity_classes=CONTINUITY_CLASSES, pad_length=128, sep=' '):
    while True:
        for chunk in pd.read_csv(dataset_path, chunksize=batch_size):
            #TODO : Should probably shuffle the dataset somehow
            texts = chunk['text'].values
            c_classes = np.stack(chunk['classes'].apply(lambda x : pad([classes.index(item) for item in x.split(sep)])).values)
            c_continuity = np.stack(chunk['continuity'].apply(lambda x : pad([continuity_classes.index(item) for item in x.split(sep)])).values)
            texts = np.array(texts)
            c_classes = np.array(c_classes)
            c_continuity = np.array(c_continuity)
            yield texts, (c_classes, c_continuity)

和

def tf_text_data_generator(dataset_path, batch_size, input_text_col='text', output_classes_col='labels', classes=CLASSES, continuity_classes=CONTINUITY_CLASSES, pad_length=128, sep=' '):
    for chunk in pd.read_csv(dataset_path, chunksize=batch_size):
        texts = chunk['text'].values
        c_classes = np.stack(chunk['classes'].apply(lambda x : pad([classes.index(item) for item in x.split(sep)])).values)
        c_continuity = np.stack(chunk['continuity'].apply(lambda x : pad([continuity_classes.index(item) for item in x.split(sep)])).values)
        texts = np.array(texts)
        c_classes = np.array(c_classes)
        c_continuity = np.array(c_continuity)
        yield texts, (c_classes, c_continuity)

可以直接在 text_data_generator 的实例上训练模型。为了在另一个生成器上进行训练，我创建了一个 tf.data.Dataset by

def wrapped_gen():
    return tf_text_data_generator("test.csv", 10)
dataset = tf.data.Dataset.from_generator(wrapped_gen, (tf.string, (tf.int64, tf.int64)))

然后可以将其直接传递给 model.train，就像实例化的生成器一样。

如何使用生成器或其他方式设置 TF 2.4 训练数据

How to setup TF 2.4 Training data with generator or other means

python

nlp

tensorflow

tensorflow2.x

输入

产出

我试过一些随机的东西直接安装在发电机上

产出单个项目而不是整个批次（所有测试使用批次大小 10）

整批产量