numpy 到 tensorflow

Question

我已经使用 numpy 读取了一个 csv 文件 genfromtxt

csv_file = np.genfromtxt(args.dataset, delimiter=',',skip_header=1,usecols=(0,1,2,3,4,5), dtype=None)

问题：如何使用string_input_producer对文件进行排队和批处理。

Answer 1

您可以从 CSV 中读取 Numpy 数组，然后手动将其分成多个批次。但是，TF 具有从多个 CSV 文件中读取并将行放在一起的内置功能，可以是随机的也可以是顺序的批次。您可以读取不同数据类型的单元格，并根据需要将它们转换为您的相关数据类型。

在这个问题中讨论了执行此操作的工作代码：

简而言之，您需要的关键功能是tf.TextLineReader、tf.train.string_input_producer和tf.train.shuffle_batch或tf.train.batch，具体取决于您的需要。

据我所知，该方法的唯一限制是 CSV 文件中的行长度应该相等。