在处理深度学习时,为什么 GPU 比 CPU 发挥更大作用?
Why GPUs comes more into play than CPUS when it comes to dealing with Deep Learning?
在几乎大多数情况下,我在处理深度学习中的任何执行部分时都会遇到 GPU。
这与 GPU 架构和 CPU 有关。事实证明,游戏需要大量矩阵乘法,因此 GPU 架构针对这些类型的运算进行了优化,特别是针对高速浮点运算进行了优化。有关此内容的更多信息 here
碰巧神经网络大多是矩阵乘法。
例如:
是具有一个隐藏层的简单神经网络的数学公式。 W_h 是一个权重矩阵,它乘以您的输入 x,我们向其添加偏差 b_h。线性方程 W_hx + b_h 可以压缩为单个矩阵乘法。 sigma 是像 sigmoid 一样的非线性激活。外层 sigmoid 也是一个矩阵乘法。因此 GPU
在几乎大多数情况下,我在处理深度学习中的任何执行部分时都会遇到 GPU。
这与 GPU 架构和 CPU 有关。事实证明,游戏需要大量矩阵乘法,因此 GPU 架构针对这些类型的运算进行了优化,特别是针对高速浮点运算进行了优化。有关此内容的更多信息 here
碰巧神经网络大多是矩阵乘法。
例如:
是具有一个隐藏层的简单神经网络的数学公式。 W_h 是一个权重矩阵,它乘以您的输入 x,我们向其添加偏差 b_h。线性方程 W_hx + b_h 可以压缩为单个矩阵乘法。 sigma 是像 sigmoid 一样的非线性激活。外层 sigmoid 也是一个矩阵乘法。因此 GPU