如何计算张量流中变压器的FLOPs？

Question

我知道

    flops = tf.profiler.profile(graph, options=tf.profiler.ProfileOptionBuilder.float_operation())

可以计算FLOPs。 但是哪里可以找到transformer的图呢？
请帮助我。

Answer 1

图表应该是您正在分析的模型的 tf.Graph。有关 Tensorflow Profiler 教程和示例，请参阅 here for more information about Tensorflow graphs and here。