使用 colab 和 fastai 的训练问题(第一个 epoch 需要很长时间超过 4 小时)
problem on training(first epoch take a long time more than 4 hours )using colab and fastai
我在使用 colab 和 fastai 进行训练时遇到问题(第一个 epoch 需要很长时间超过 4 小时)。第一个 epoch 只花了我大约 5 个小时,使用 google colab 没有用,因为 GPU 的使用限制
我正在使用 'efficientnet-b4' 和大约 52k 数据增强后的训练照片和 11k 有效照片。
问题如图:
Colab 从 google 驱动器获取数据需要花费大量时间,因为它没有有效地索引,因此使第一个纪元很长。对于大型数据集,我建议使用 google 云存储并从那里导入数据。
我在使用 colab 和 fastai 进行训练时遇到问题(第一个 epoch 需要很长时间超过 4 小时)。第一个 epoch 只花了我大约 5 个小时,使用 google colab 没有用,因为 GPU 的使用限制 我正在使用 'efficientnet-b4' 和大约 52k 数据增强后的训练照片和 11k 有效照片。
问题如图:
Colab 从 google 驱动器获取数据需要花费大量时间,因为它没有有效地索引,因此使第一个纪元很长。对于大型数据集,我建议使用 google 云存储并从那里导入数据。