kedro 是否支持 tfrecord?
Does kedro support tfrecord?
为了使用 Docker 容器在 AI Platform 上训练 tensorflow keras 模型,我们使用 tf.data.Dataset
将存储在 GCS 上的原始图像转换为 tfrecord 数据集。因此,数据永远不会存储在本地。相反,原始图像直接转换为 tfrecords 到另一个桶。是否可以使用 kedro with a tfrecord dataset and the streaming capability of tf.data.Dataset
? According to the docs kedro 似乎不支持 tfrecord 数据集。
我们目前仅有的 TF 相关数据集是 TensorFlowModelDataset
(https://kedro.readthedocs.io/en/latest/_modules/kedro/extras/datasets/tensorflow/tensorflow_model_dataset.html), but you can easily add your own custom dataset, or please add a feature request/your contribution in the repo
为了使用 Docker 容器在 AI Platform 上训练 tensorflow keras 模型,我们使用 tf.data.Dataset
将存储在 GCS 上的原始图像转换为 tfrecord 数据集。因此,数据永远不会存储在本地。相反,原始图像直接转换为 tfrecords 到另一个桶。是否可以使用 kedro with a tfrecord dataset and the streaming capability of tf.data.Dataset
? According to the docs kedro 似乎不支持 tfrecord 数据集。
我们目前仅有的 TF 相关数据集是 TensorFlowModelDataset
(https://kedro.readthedocs.io/en/latest/_modules/kedro/extras/datasets/tensorflow/tensorflow_model_dataset.html), but you can easily add your own custom dataset, or please add a feature request/your contribution in the repo