将 numpy 数组加载到 Tensorflow 输入管道中

Question

所以我正在学习为图像制作数据加载器的教程 (https://github.com/codebasics/deep-learning-keras-tf-tutorial/blob/master/44_tf_data_pipeline/tf_data_pipeline.ipynb)。

完整代码是这样的：

images_ds = tf.data.Dataset.list_files("path/class/*")

def get_label(file_path):
    import os
    parts = tf.strings.split(file_path, os.path.sep)
    return parts[-2]

## How the tutorial does it
def process_image(file_path):
    label = get_label(file_path)

    img = tf.io.read_file(file_path)
    img = tf.image.decode_jpeg(img)

    return img, label

## How I want to do it
def process_image(file_path):
    label = get_label(file_path)


    img = np.load(file_path)
    img = tf.convert_to_tensor(img) 

    return img, label

train_ds = images_ds.map(process_image)

在教程中，数据是.jpeg。但是，我的数据是.npy.

因此，用下面的代码加载数据是行不通的：

img = tf.io.read_file(file_path)
img = tf.image.decode_jpeg(img)

我想解决这个问题，但我的解决方案不起作用。

img = np.load(file_path)
img = tf.convert_to_tensor(img)

当我为 process_image 函数 1 提供实例时它确实有效。但是，当我使用 .map 函数时，出现错误。

错误：
TypeError：应为 str、bytes 或 os.PathLike 对象，而不是 Tensor

是否有与 tf.image.decode_image() 等效的函数来解码 numpy 数组 and/or 有人可以帮助我解决当前的错误吗？

Answer 1

@André 的评论让我找到了正确的方向。下面的代码有效。


def process_image(file_path):
    label = get_label(file_path)
    label = np.uint8(label)

    img = np.load(file_path)
    img = tf.convert_to_tensor(img/255, dtype=tf.float32) 

    return img , label 

train_ds = images_ds.map(lambda item: tf.numpy_function(
          process_image, [item], (tf.float32, tf.uint8)))

将 numpy 数组加载到 Tensorflow 输入管道中

Loading a numpy array into Tensorflow input pipeline

python

numpy

tensorflow

pipeline

dataloader