theano CPU 运行 内存不足:怎么了?
theano CPU running out of memory: what is wrong?
我运行一个简单的网络,服务器上有theano,出现内存不足的错误,但我不确定是什么原因。我问是因为不太可能只是因为我使用了太多内存。
原因如下:
首先,根据这个post,只有当运行GPU才会出现不支持虚拟内存的问题,但是我运行用CPU,所以应该没问题。
其次,我构建了一个网络,其中第一层是 100k x 10 的矩阵,第二层是 10 x 1 的矩阵,因此模型只有大约 1M 个数字。到目前为止,我只尝试将 1000 个数据点放在一起,所以即使机器将所有数据一起加载,并一起初始化所有层,也应该最多有 110M 个浮点数。我在 64 位机器上使用了 float32。根据这个post,每个数字最多占用60bytes。所以,整个初始化需要6GB内存。即使可能有各种不同的资源占用内存,我也不明白为什么它不能在 128GB RAM 服务器上 运行。
有人可以建议我应该研究什么吗?
为了以防万一有人要代码,here 是的。
你的小批量是多少?您需要记住,激活也会占用内存 space。
我运行一个简单的网络,服务器上有theano,出现内存不足的错误,但我不确定是什么原因。我问是因为不太可能只是因为我使用了太多内存。
原因如下:
首先,根据这个post,只有当运行GPU才会出现不支持虚拟内存的问题,但是我运行用CPU,所以应该没问题。
其次,我构建了一个网络,其中第一层是 100k x 10 的矩阵,第二层是 10 x 1 的矩阵,因此模型只有大约 1M 个数字。到目前为止,我只尝试将 1000 个数据点放在一起,所以即使机器将所有数据一起加载,并一起初始化所有层,也应该最多有 110M 个浮点数。我在 64 位机器上使用了 float32。根据这个post,每个数字最多占用60bytes。所以,整个初始化需要6GB内存。即使可能有各种不同的资源占用内存,我也不明白为什么它不能在 128GB RAM 服务器上 运行。
有人可以建议我应该研究什么吗?
为了以防万一有人要代码,here 是的。
你的小批量是多少?您需要记住,激活也会占用内存 space。