是否可以在 Coral 开发板上并行 运行 个相同模型的倍数?

Is it possible to run multiples of the same model in parallel on the Coral dev board?

我运行正在使用 mobilnet SSD,每个输入图像大约需要 14 毫秒。我可以在同一个开发板 tpu 上同时 运行 这些模型中的两个吗?例如,我有 100 张图像的积压工作,我想完成,唯一对我来说重要的是完成所有 100 张图像需要多长时间。所以如果我可以 运行 一次 2 或 4会很棒。我试图通读文档并查看流水线,但边缘编译器告诉我“~$ 警告:对于给定的模型,您正在创建比必要更多的段”。我读到的关于 运行ning 的所有其他内容都是关于使用两个物理边缘 TPU 的。如果这不可能,那很好,我只是想确定地知道:)

谢谢

您可以 运行 多个模型,但 TPU 的内存有限并且会交换您的模型,因此您可能不会通过将任务委派给多个模型来提高性能。但是,您可以 co-compile your models。此过程 'compiles' 每个模型都具有相同的标识符(缓存令牌),这使它们能够在 TPU 上 运行 而无需换入和换出。

编译模型是用 edgetpu_compiler 完成的;这个过程是这样的:

edgetpu_compiler someModel.tflite someOtherModel.tflite

或同型号:

edgetpu_compiler someModelA.tflite someModelA_duplicate.tflite

该过程存在一些细微差别,例如您将模型提供给 edgetpu_compiler 过程的顺序可能会影响性能,您的组合模型太大而无法装入 TPU 的情况也会影响性能内存。我建议从这个开始 documentation about multiple models.