将 tf.dataset 作为字典的键传递

Question

我遇到了有关将 tf.dictionary 的元素作为字典键传递的问题。我已将其简化为以下最小示例：

def example(x,d):
   w=tf.vectorized_map(lambda y: d[y],tf.cast(x, tf.string))
   return w


dataset = tf.data.Dataset.from_tensor_slices([['a','d','s'],['b','e','a'],['c','f','d']])
d={'a':1,'b':2,'c':3,'d':4,'e':6,'f':5,'s':1}
dataset.map(lambda x: example(x,d))

我收到错误：

TypeError: Failed to convert object of type <class 'tensorflow.python.util.object_identity.Reference'> to Tensor. Contents: <Reference wrapping <tf.Tensor 'args_0:0' shape=(3,) dtype=string>>. Consider casting elements to a supported type.

我试图解决这个问题，删除 tf.cast(x, tf.string) 并将 tf.vectorized_map 更改为 tf.map_fn。在这两种情况下，我都会遇到相同的错误。

如何运行代码？

Answer 1

您可以使用 tf.lookup.StaticHashTable 来实现。

import tensorflow as tf
keys_tensor = tf.constant(['a', 'b', 'c', 'd', 'e', 'f', 's'])
vals_tensor = tf.constant([1, 2, 3, 4, 6, 5, 1])
table = tf.lookup.StaticHashTable(
    tf.lookup.KeyValueTensorInitializer(keys_tensor, vals_tensor),
    default_value=-1)

dataset = tf.data.Dataset.from_tensor_slices([['a','d','s'],['b','e','a'],['c','f','d']])
ds=dataset.map(lambda x:table[x])

for x in ds:
  print(x)
'''
tf.Tensor([1 4 1], shape=(3,), dtype=int32)
tf.Tensor([2 6 1], shape=(3,), dtype=int32)
tf.Tensor([3 5 4], shape=(3,), dtype=int32)
'''

将 tf.dataset 作为字典的键传递

Passing a tf.dataset as the keys of a dictionary

python

tensorflow

tensorflow-datasets