Tensorflow 数据集 api

Question

我正在使用 tf.contrib.data.make_csv_dataset(csv_path) 读取 CSV 文件，CSV 文件有 2 列，即 review 和 评级。我想在阅读后对评论栏进行分词。

 dataset = tf.contrib.data.make_csv_dataset(csv_file, batch_size=2)

创建数据集后，我希望我的地图下面的方法到 review 列的数据集：

def create_tokens(sentence):
    return tf.string_split([sentence).values

我卡在这里了。

Answer 1

使用此示例数据：

review, rating
Best film ever, 5
rather meh, 2

您应该能够使用 tf.data.map()，如 tensorflow 1.10 中 here and here 所述：

def create_tokens(sentence):
    return tf.string_split(sentence['review'])

dataset = tf.contrib.data.make_csv_dataset('test.csv', batch_size=2)
dataset = dataset.map(create_tokens)