将 numpy 数组加载到 Tensorflow 输入管道中
Loading a numpy array into Tensorflow input pipeline
所以我正在学习为图像制作数据加载器的教程 (https://github.com/codebasics/deep-learning-keras-tf-tutorial/blob/master/44_tf_data_pipeline/tf_data_pipeline.ipynb)。
完整代码是这样的:
images_ds = tf.data.Dataset.list_files("path/class/*")
def get_label(file_path):
import os
parts = tf.strings.split(file_path, os.path.sep)
return parts[-2]
## How the tutorial does it
def process_image(file_path):
label = get_label(file_path)
img = tf.io.read_file(file_path)
img = tf.image.decode_jpeg(img)
return img, label
## How I want to do it
def process_image(file_path):
label = get_label(file_path)
img = np.load(file_path)
img = tf.convert_to_tensor(img)
return img, label
train_ds = images_ds.map(process_image)
在教程中,数据是.jpeg。但是,我的数据是.npy.
因此,用下面的代码加载数据是行不通的:
img = tf.io.read_file(file_path)
img = tf.image.decode_jpeg(img)
我想解决这个问题,但我的解决方案不起作用。
img = np.load(file_path)
img = tf.convert_to_tensor(img)
当我为 process_image 函数 1 提供实例时它确实有效。但是,当我使用 .map 函数时,出现错误。
错误:
TypeError:应为 str、bytes 或 os.PathLike 对象,而不是 Tensor
是否有与 tf.image.decode_image() 等效的函数来解码 numpy 数组 and/or 有人可以帮助我解决当前的错误吗?
@André 的评论让我找到了正确的方向。下面的代码有效。
def process_image(file_path):
label = get_label(file_path)
label = np.uint8(label)
img = np.load(file_path)
img = tf.convert_to_tensor(img/255, dtype=tf.float32)
return img , label
train_ds = images_ds.map(lambda item: tf.numpy_function(
process_image, [item], (tf.float32, tf.uint8)))
所以我正在学习为图像制作数据加载器的教程 (https://github.com/codebasics/deep-learning-keras-tf-tutorial/blob/master/44_tf_data_pipeline/tf_data_pipeline.ipynb)。
完整代码是这样的:
images_ds = tf.data.Dataset.list_files("path/class/*")
def get_label(file_path):
import os
parts = tf.strings.split(file_path, os.path.sep)
return parts[-2]
## How the tutorial does it
def process_image(file_path):
label = get_label(file_path)
img = tf.io.read_file(file_path)
img = tf.image.decode_jpeg(img)
return img, label
## How I want to do it
def process_image(file_path):
label = get_label(file_path)
img = np.load(file_path)
img = tf.convert_to_tensor(img)
return img, label
train_ds = images_ds.map(process_image)
在教程中,数据是.jpeg。但是,我的数据是.npy.
因此,用下面的代码加载数据是行不通的:
img = tf.io.read_file(file_path)
img = tf.image.decode_jpeg(img)
我想解决这个问题,但我的解决方案不起作用。
img = np.load(file_path)
img = tf.convert_to_tensor(img)
当我为 process_image 函数 1 提供实例时它确实有效。但是,当我使用 .map 函数时,出现错误。
错误:
TypeError:应为 str、bytes 或 os.PathLike 对象,而不是 Tensor
是否有与 tf.image.decode_image() 等效的函数来解码 numpy 数组 and/or 有人可以帮助我解决当前的错误吗?
@André 的评论让我找到了正确的方向。下面的代码有效。
def process_image(file_path):
label = get_label(file_path)
label = np.uint8(label)
img = np.load(file_path)
img = tf.convert_to_tensor(img/255, dtype=tf.float32)
return img , label
train_ds = images_ds.map(lambda item: tf.numpy_function(
process_image, [item], (tf.float32, tf.uint8)))