将 Keras 模型集成到 TensorFlow 中

Question

我正在尝试在 TensorFlow 代码中使用预训练的 Keras 模型，如 this Keras blog post 部分 II：将 Keras 模型与 TensorFlow 结合使用中所述。

我想使用 Keras 中可用的预训练 VGG16 网络从图像中提取卷积特征图，并在其上添加我自己的 TensorFlow 代码。所以我这样做了：

import tensorflow as tf
from tensorflow.python.keras.applications.vgg16 import VGG16, preprocess_input
from tensorflow.python.keras import backend as K

# images = a NumPy array containing 8 images

model = VGG16(include_top=False, weights='imagenet')
inputs = tf.placeholder(shape=images.shape, dtype=tf.float32)
inputs = preprocess_input(inputs)
features = model(inputs)

with tf.Session() as sess:
    K.set_session(sess)
    output = sess.run(features, feed_dict={inputs: images})
    print(output.shape)

但是，这给了我一个错误：

FailedPreconditionError: Attempting to use uninitialized value block1_conv1_2/kernel
     [[Node: block1_conv1_2/kernel/read = Identity[T=DT_FLOAT, _device="/job:localhost/replica:0/task:0/device:GPU:0"](block1_conv1_2/kernel)]]
     [[Node: vgg16_1/block5_pool/MaxPool/_3 = _Recv[client_terminated=false, recv_device="/job:localhost/replica:0/task:0/device:CPU:0", send_device="/job:localhost/replica:0/task:0/device:GPU:0", send_device_incarnation=1, tensor_name="edge_132_vgg16_1/block5_pool/MaxPool", tensor_type=DT_FLOAT, _device="/job:localhost/replica:0/task:0/device:CPU:0"]()]]

相反，如果我运行在运行网络之前进行初始化操作：

with tf.Session() as sess:
    K.set_session(sess)
    tf.global_variables_initializer().run()
    output = sess.run(features, feed_dict={inputs: images})
    print(output.shape)

然后我得到预期的输出：

(8, 11, 38, 512)

我的问题是，在运行宁 tf.global_variables_initializer() 之后，变量是随机初始化的还是使用 ImageNet 权重初始化的？我问这个是因为上面引用的博客 post 没有提到使用预训练的 Keras 模型时初始化器需要运行，确实让我感到有点不安。

我怀疑它确实使用了 ImageNet 权重，并且需要运行初始化器只是因为 TensorFlow 要求所有变量都被显式初始化。但这只是猜测。

Answer 1

TLDR

使用 Keras 时，

尽可能避免使用 Session（本着不可知论者 Keras 的精神）
否则使用 Keras 处理 Session 到 tf.keras.backend.get_session。
将 Keras 的 set_session 用于高级用途（例如，当您需要分析或设备放置时）并且在您的程序的早期使用 — 与“纯”Tensorflow 中的常见做法和良好用法相反。

更多相关信息

变量必须先初始化才能使用。实际上，它比这更微妙：变量必须在使用它们的会话中初始化。我们来看这个例子：

import tensorflow as tf x = tf.Variable(0.) with tf.Session() as sess: tf.global_variables_initializer().run() # x is initialized -- no issue here x.eval() with tf.Session() as sess: x.eval() # Error -- x was never initialized in this session, even though # it has been initialized before in another session

因此，model 中的变量未初始化也就不足为奇了，因为您在 sess.
之前创建了模型
但是，VGG16 不仅为模型变量（您使用 tf.global_variables_initializer 调用的变量）创建初始化操作，而且实际上调用它们.问题是，其中 Session?

好吧，由于 none 在您构建模型时存在，Keras 为您创建了一个默认模型，您可以使用 tf.keras.backend.get_session() 恢复它。使用此会话现在可以按预期工作，因为变量已在此会话中初始化：

with tf.keras.backend.get_session() as sess: K.set_session(sess) output = sess.run(features, feed_dict={inputs: images}) print(output.shape)

请注意，您也可以创建自己的 Session 并通过 keras.backend.set_session 将其提供给 Keras — 这正是您所做的。但是，正如这个例子所示，Keras 和 TensorFlow 有着不同的思维方式。

TensorFlow 用户通常会首先构建一个图，然后实例化一个会话，也许在冻结图之后。

Keras 与框架无关，并且在构造阶段之间没有这种内置的区别——特别是，我们在这里了解到，Keras 很可能会在图构造期间实例化一个 Session .

因此，在使用 Keras 时，如果您需要处理需要 tf.Session 的 TensorFlow 特定代码，我建议您不要自己管理 tf.Session，而是依赖 tf.keras.backend.get_session .

Answer 2

作为@P-Gn 回答的补充，如果您坚持明确创建一个新会话（就像您正在阅读的教程），您应该输入以下行：

sess = tf.Session()
K.set_session(sess)

在创建模型之前（即 model = VGG16(...)），然后使用创建的会话，如：

with sess.as_defualt():
    output = sess.run(features, feed_dict={inputs: images})

将 Keras 模型集成到 TensorFlow 中

Integrating Keras model into TensorFlow

python

tensorflow

keras

deep-learning

vgg-net

TLDR

更多相关信息