为什么创建一个模型需要占用如此多的 VRAM space？

Question

我想知道创建新模型时显存中加载了什么。即使在简单的情况下，如：

import tensorflow as tf

model = tf.keras.Sequential([tf.keras.layers.Dense(1, input_shape=(1,))])

在我运行模型定义命令的那一刻，内存使用量从 0 增加到 4000+ MiB。我唯一想到的是内存中加载了各种 CUDA 库，但我不确定。有什么想法吗？

提前致谢！

Answer 1

Tensorflow 习惯于尽可能多地获取 space 以备日后需要。您可以尝试以下方法来允许动态内存增长，这应该可以解决您的问题。

physical_devices = tf.config.experimental.list_physical_devices('GPU')
for i in physical_devices:
    tf.config.experimental.set_memory_growth(i, True)

为什么创建一个模型需要占用如此多的 VRAM space？

Why is creating a model taking so much space in VRAM?

python

tensorflow

keras