如何使用 Google Video Intelligence API 跟踪眼球运动？

Question

我有一个有 3 个人说话的视频，我想在视频中标注人们眼睛的位置。我知道 Google Video Intelligence API 具有对象跟踪功能，但可以使用 API?

来处理这种眼动追踪过程

Answer 1

有一个详细的 (Python) example from Google on how to track objects and print out detected objects afterward. You could combine this with the AIStreamer 实时对象跟踪功能，您可以将实时视频流上传到该功能以获取结果。

您可以关注一些 ideas/steps：

1. 识别视频第一帧中的眼睛。
2. Set/highlight 您正在跟踪的眼睛周围的框。
3. 在下一帧中将眼睛作为对象进行跟踪。

Answer 2

Google Video Intelligence API 表示 Face detection 特征，它使您有机会从视频帧内执行人脸检测以及特殊的人脸属性。

通常，您需要调整 FaceDetectionConfig throughout videos.annotate method，在 JSON 请求正文中提供 includeBoundingBoxes 和 includeAttributes 参数：

{
   "inputUri":"string",
   "inputContent":"string",
   "features":[
      "FACE_DETECTION"
   ],
   "videoContext":{
      "segments":[
         "object (VideoSegment)"
      ],
      "faceDetectionConfig":{
         "model":"string",
         "includeBoundingBoxes":"true",
         "includeAttributes":"true"
      }
   },
   "outputUri":"string",
   "locationId":"string"
}