Int8(字节)操作如何对深度学习有用?
How Int8 (byte) operations can be useful for deep learning?
Nvidia 计划在其新的 Titan 卡中添加对 int8 运算的硬件支持,并瞄准深度学习社区。我试图了解它的用处以及什么类型的网络将从中受益以及什么阶段(training/inferencing 等)。
我知道 FP16 而不是 FP32 应该对 DL 有用,但不确定 int8 能做什么。有一些研究表明您可以使用完整的 FP32 精度进行训练,然后将其四舍五入为一个字节 - 但这不会加速或减少训练的内存占用。
他们可能根据一些论文或研究做出了这个决定(实现 int8 的硬件加速)。这些是什么?
为了减少内存占用和计算开销,一种常见的方法(尤其是移动设备)是量化;那将以整数形式发生。在这里阅读更多相关信息:
Nvidia 计划在其新的 Titan 卡中添加对 int8 运算的硬件支持,并瞄准深度学习社区。我试图了解它的用处以及什么类型的网络将从中受益以及什么阶段(training/inferencing 等)。
我知道 FP16 而不是 FP32 应该对 DL 有用,但不确定 int8 能做什么。有一些研究表明您可以使用完整的 FP32 精度进行训练,然后将其四舍五入为一个字节 - 但这不会加速或减少训练的内存占用。
他们可能根据一些论文或研究做出了这个决定(实现 int8 的硬件加速)。这些是什么?
为了减少内存占用和计算开销,一种常见的方法(尤其是移动设备)是量化;那将以整数形式发生。在这里阅读更多相关信息: