如何使用 TensorBoard 可视化具有自定义模型 sub-类 的 keras 模型？
How to visualize keras model that has custom model sub-classes with TensorBoard?
我有一个模型，它由几个继承自 tf.keras.Model 的子模型组成。这些子模型或多或少都是简单的keras.Sequential组模型，组成keras.layers如keras.layers.Conv2D、keras.layers.BatchNormalization等。调用函数传递数据通过不同的顺序模型（有时添加额外的东西，例如原始输入到顺序模型的输出，a la ResidualBlock 子模型）。
我的主模型由子模型组成的原因是因为主模型很复杂，这样做可以让我轻松更改模型架构（例如子模型的层数 A .另外，部分子模型实例化某些层（如keras.layers.Reshape) in thecallfunction because the argument to configure theReshape`取决于调用函数的输入
模型编译成功，我已经通过它传递了随机数据（还没有训练它），但我想可视化它。
我尝试执行以下操作
tensorboard = TensorBoard(log_dir='./logs/{}'.format(time()))
tensorboard.set_model(model)
但我收到警告：
WARNING:tensorflow:Model failed to serialize as JSON. Ignoring...
我也不能用
保存它
model.save('path_to_file.h5')
因为我得到一个'NotImplemnedError.
经过研究，我发现保存自定义模型的推荐方法是仅保存权重并仅加载权重。
如何使用 Tensorboard 可视化我的模型？我需要实现序列化程序吗？有这方面的指南吗？
就使用 Keras API 的 Tensorboard 而言，您可能不走运，因为它并非设计用于在具有自定义功能的嵌套模型上运行。好消息是，链接的源代码并不难理解，事实上对我来说比官方指南更直观 - 所以你应该能够编写自己的张量板 class 来满足你的需要。
任何 'workarounds' 形式的嵌套回调都将比自定义 class 更容易出错且更难管理 - 因此虽然后者最初可能涉及更多工作，但它应该在长 运行.
最后，Tensorboard API 的可定制性有限 - 例如不能 select 记录特定层，或忽略哪些指标。为此，我写了自己的 class - 请参阅下面的摘录；它不支持嵌套模型，但可以轻松扩展。
def run(self, log_num=None):
tensors = (self.model.inputs +
self.model.targets +
self.model.sample_weights)
assert len(tensors) == len(self.val_data)
feed_dict = dict(zip(tensors, self.val_data))
summary = self.sess.run([self.merged], feed_dict=feed_dict)
log_num = log_num or self.log_num
self.writer.add_summary(summary[0], log_num)
self.log_num += 1
if self.verbose:
print("MyTensorBoard saved %s logs" % len(summary))
def _init_logger(self):
for layer in self.model.layers:
if any([(spec_name in layer.name) for spec_name in self.layer_names]):
grads = self._get_grads(layer)
if grads is not None:
tf.summary.histogram(layer.name + '_grad', grads)
if hasattr(layer, 'output'):
self._log_outputs(layer)
for weight in layer.weights:
mapped_weight_name = weight.name.replace(':', '_')
tf.summary.histogram(mapped_weight_name, weight)
w_img = self._to_img_format(weight)
if w_img is not None:
tf.summary.image(mapped_weight_name, w_img)
self.merged = tf.summary.merge_all()
self._init_writer()
print("MyTensorBoard initialized")
def _init_writer(self):
tb_num = 0
while any([('TB_' + str(tb_num) in fname) for fname in
os.listdir(self.base_logdir)]):
tb_num += 1
self.logdir = os.path.join(self.base_logdir, 'TB_%s' % tb_num)
os.mkdir(self.logdir)
print("New TB logdir created at %s" % self.logdir)
if self.write_graph:
self.writer = tf.summary.FileWriter(self.logdir, self.sess.graph)
else:
self.writer = tf.summary.FileWriter(self.logdir)
def _get_grads(self, layer):
for weight_tensor in layer.trainable_weights:
grads = self.model.optimizer.get_gradients(
self.model.total_loss, weight_tensor)
is_indexed_slices = lambda g: type(g).__name__ == 'IndexedSlices'
return [grad.values if is_indexed_slices(grad)
else grad for grad in grads]
def _log_outputs(self, layer):
if isinstance(layer.output, list):
for i, output in enumerate(layer.output):
tf.summary.histogram('{}_out_{}'.format(layer.name, i), output)
else:
tf.summary.histogram('{}_out'.format(layer.name), layer.output)
我有一个模型，它由几个继承自 tf.keras.Model 的子模型组成。这些子模型或多或少都是简单的keras.Sequential组模型，组成keras.layers如keras.layers.Conv2D、keras.layers.BatchNormalization等。调用函数传递数据通过不同的顺序模型（有时添加额外的东西，例如原始输入到顺序模型的输出，a la ResidualBlock 子模型）。
我的主模型由子模型组成的原因是因为主模型很复杂，这样做可以让我轻松更改模型架构（例如子模型的层数 A .另外，部分子模型实例化某些层（如keras.layers.Reshape) in thecallfunction because the argument to configure theReshape`取决于调用函数的输入
模型编译成功，我已经通过它传递了随机数据（还没有训练它），但我想可视化它。
我尝试执行以下操作
tensorboard = TensorBoard(log_dir='./logs/{}'.format(time()))
tensorboard.set_model(model)
但我收到警告：
WARNING:tensorflow:Model failed to serialize as JSON. Ignoring...
我也不能用
保存它
model.save('path_to_file.h5')
因为我得到一个'NotImplemnedError.
经过研究，我发现保存自定义模型的推荐方法是仅保存权重并仅加载权重。
如何使用 Tensorboard 可视化我的模型？我需要实现序列化程序吗？有这方面的指南吗？
就使用 Keras API 的 Tensorboard 而言，您可能不走运，因为它并非设计用于在具有自定义功能的嵌套模型上运行。好消息是，链接的源代码并不难理解，事实上对我来说比官方指南更直观 - 所以你应该能够编写自己的张量板 class 来满足你的需要。
任何 'workarounds' 形式的嵌套回调都将比自定义 class 更容易出错且更难管理 - 因此虽然后者最初可能涉及更多工作，但它应该在长 运行.
最后，Tensorboard API 的可定制性有限 - 例如不能 select 记录特定层，或忽略哪些指标。为此，我写了自己的 class - 请参阅下面的摘录；它不支持嵌套模型，但可以轻松扩展。
def run(self, log_num=None):
tensors = (self.model.inputs +
self.model.targets +
self.model.sample_weights)
assert len(tensors) == len(self.val_data)
feed_dict = dict(zip(tensors, self.val_data))
summary = self.sess.run([self.merged], feed_dict=feed_dict)
log_num = log_num or self.log_num
self.writer.add_summary(summary[0], log_num)
self.log_num += 1
if self.verbose:
print("MyTensorBoard saved %s logs" % len(summary))
def _init_logger(self):
for layer in self.model.layers:
if any([(spec_name in layer.name) for spec_name in self.layer_names]):
grads = self._get_grads(layer)
if grads is not None:
tf.summary.histogram(layer.name + '_grad', grads)
if hasattr(layer, 'output'):
self._log_outputs(layer)
for weight in layer.weights:
mapped_weight_name = weight.name.replace(':', '_')
tf.summary.histogram(mapped_weight_name, weight)
w_img = self._to_img_format(weight)
if w_img is not None:
tf.summary.image(mapped_weight_name, w_img)
self.merged = tf.summary.merge_all()
self._init_writer()
print("MyTensorBoard initialized")
def _init_writer(self):
tb_num = 0
while any([('TB_' + str(tb_num) in fname) for fname in
os.listdir(self.base_logdir)]):
tb_num += 1
self.logdir = os.path.join(self.base_logdir, 'TB_%s' % tb_num)
os.mkdir(self.logdir)
print("New TB logdir created at %s" % self.logdir)
if self.write_graph:
self.writer = tf.summary.FileWriter(self.logdir, self.sess.graph)
else:
self.writer = tf.summary.FileWriter(self.logdir)
def _get_grads(self, layer):
for weight_tensor in layer.trainable_weights:
grads = self.model.optimizer.get_gradients(
self.model.total_loss, weight_tensor)
is_indexed_slices = lambda g: type(g).__name__ == 'IndexedSlices'
return [grad.values if is_indexed_slices(grad)
else grad for grad in grads]
def _log_outputs(self, layer):
if isinstance(layer.output, list):
for i, output in enumerate(layer.output):
tf.summary.histogram('{}_out_{}'.format(layer.name, i), output)
else:
tf.summary.histogram('{}_out'.format(layer.name), layer.output)