使用 TensorBoard 可视化来自 tf_agents 的图表
Use TensorBoard to visualize graph from tf_agents
我对 RL 很陌生,目前正在自学如何使用 tf_agents 库实现不同的算法和超参数。
我一直在研究本教程提供的代码 https://colab.research.google.com/github/tensorflow/agents/blob/master/docs/tutorials/1_dqn_tutorial.ipynb。
在学习了如何使用 TensorBoard 之后,我开始想知道如何可视化 tf_agents 库中的图形。每个 TensorBoard tutorials/posts 似乎都实现了自己的模型或定义了 tf.function 来记录图表。但是,我就是不能将这些方法应用到上面的教程中。
如果有人可以帮助我在 TensorBoard 中使用 tf_agents 可视化模型图,将不胜感激。谢谢!
考虑一下这个 colab notebook 是 TF-Agents 实际工作方式的一个非常简单的版本。实际上你应该使用 Driver 来采样轨迹而不是手动调用
agent.action(state)
env.step(action)
每次迭代。 Driver 的另一个优势是它可以轻松兼容 TF-Agents 中的所有指标。
关于你的问题是:
在你的训练开始时定义一个 summary_writer 像这样的东西:
train_dir = os.path.join(root_dir, 'train')
train_summary_writer = tf.summary.create_file_writer(
train_dir, flush_millis=10000)
train_summary_writer.set_as_default()
现在每次调用 agent.train 时,它都会刷新到此摘要编写器及其 tensorboard 文件夹 train_dir
。
要将一些指标添加到组合中,只需使用类似以下内容的方式定义它们:
train_metrics = [
tf_metrics.NumberOfEpisodes(),
tf_metrics.EnvironmentSteps(),
tf_metrics.AverageReturnMetric(buffer_size=collect_episodes_per_epoch),
tf_metrics.AverageEpisodeLengthMetric(buffer_size=collect_episodes_per_epoch),
]
将它们作为观察者与您的重播缓冲区一起传递给驱动程序,如下所示:
dynamic_episode_driver.DynamicEpisodeDriver(
tf_env,
collect_policy,
observers=replay_observer + train_metrics,
num_episodes=collect_episodes_per_epoch).run()
在此之后将它们记录到您的摘要中:
for train_metric in train_metrics:
train_metric.tf_summaries(train_step=epoch_counter, step_metrics=train_metrics[:2])
如果您想知道,step_metrics
arg 是根据前两个指标绘制最后两个指标。
我对 RL 很陌生,目前正在自学如何使用 tf_agents 库实现不同的算法和超参数。
我一直在研究本教程提供的代码 https://colab.research.google.com/github/tensorflow/agents/blob/master/docs/tutorials/1_dqn_tutorial.ipynb。
在学习了如何使用 TensorBoard 之后,我开始想知道如何可视化 tf_agents 库中的图形。每个 TensorBoard tutorials/posts 似乎都实现了自己的模型或定义了 tf.function 来记录图表。但是,我就是不能将这些方法应用到上面的教程中。
如果有人可以帮助我在 TensorBoard 中使用 tf_agents 可视化模型图,将不胜感激。谢谢!
考虑一下这个 colab notebook 是 TF-Agents 实际工作方式的一个非常简单的版本。实际上你应该使用 Driver 来采样轨迹而不是手动调用
agent.action(state)
env.step(action)
每次迭代。 Driver 的另一个优势是它可以轻松兼容 TF-Agents 中的所有指标。
关于你的问题是:
在你的训练开始时定义一个 summary_writer 像这样的东西:
train_dir = os.path.join(root_dir, 'train')
train_summary_writer = tf.summary.create_file_writer(
train_dir, flush_millis=10000)
train_summary_writer.set_as_default()
现在每次调用 agent.train 时,它都会刷新到此摘要编写器及其 tensorboard 文件夹 train_dir
。
要将一些指标添加到组合中,只需使用类似以下内容的方式定义它们:
train_metrics = [
tf_metrics.NumberOfEpisodes(),
tf_metrics.EnvironmentSteps(),
tf_metrics.AverageReturnMetric(buffer_size=collect_episodes_per_epoch),
tf_metrics.AverageEpisodeLengthMetric(buffer_size=collect_episodes_per_epoch),
]
将它们作为观察者与您的重播缓冲区一起传递给驱动程序,如下所示:
dynamic_episode_driver.DynamicEpisodeDriver(
tf_env,
collect_policy,
observers=replay_observer + train_metrics,
num_episodes=collect_episodes_per_epoch).run()
在此之后将它们记录到您的摘要中:
for train_metric in train_metrics:
train_metric.tf_summaries(train_step=epoch_counter, step_metrics=train_metrics[:2])
如果您想知道,step_metrics
arg 是根据前两个指标绘制最后两个指标。