使用 Google AutoML 进行训练时出现管道超时错误

Pipeline Timeout Error when training using Google AutoML

之前,我使用 Google AutoML 成功地训练了我的小型数据集,并且准确度不错。现在我想训练另一个数据集,其中包含 999.683 张图像(几乎是 1 个数据集中图像的限制),分布在 28 类 中。

训练过程耗时很长,等了24小时后Google给我发了错误报告

Due to an error, AutoML Vision was unable to process your dataset "My_Dataset". There will be no charge issued for this job.

并且 AutoML Vision 上的错误详细信息仅显示

Pipeline c350ef1471db4bdb800f743eef963aec timeout.

有人遇到过这种情况吗?这是我的数据集的问题吗?还是 Google AutoML 服务器端的问题?

这是由于在非常大的训练数据集上使用免费版本(1 个节点小时)造成的。培训过程未完成,超过 24 小时时会抛出该错误。通过选择 24 Node hour 选项,它将继续训练过程而不会抛出任何错误。

注意:

  • 对于我将近 100 万的数据集,我花了 2~3 天的时间才收到来自 Google 的电子邮件,表明训练已经完成。
  • 它用完了我所有的 300 美元免费积分