训练 CNN 的数据类型偏好?

Data type preference for training CNN?

在了解到标准化和归一化应该提高学习速度和准确性之前,我最初使用的是 0-255 范围内的 int8 类型的输入数据。我尝试了两种方法,均值为零和不均值为零,并且 none 这些方法相对于 0-255、int8 方法提高了我的模型的学习速度或准确性。我只是想知道,例如,与 int8 相比,使用 float64 进行训练在速度上是否会有任何不同,或者值中存在的小数位数是否对训练速度有任何影响。谢谢:)

训练前你应该总是normalize/standardize你的图像。 关于这个话题有很多 post。这里有几个

normalize-the-images-before-we-put-them-into-cnn

Data_Scaling

使用 INT 进行训练比使用 FLOAT 更快;但是不建议这样做,因为准确性会普遍下降。拥有完整的训练模型后,您可以将模型从 FLOAT 量化为 INT。