从相机跟踪对象； PID控制；鹦鹉 AR 无人机 2

Question

我正在做一个项目，我应该使用 Parrot AR Drone 2.0 的相机实现对象跟踪技术。所以主要的想法是，无人机应该能够识别指定的颜色，然后保持一定距离跟随它。

我正在使用 opencv API 与无人机建立通信。 API 提供功能：

ARDrone::move3D(double vx, double vy, double vz, double vr)

在 3D space 中移动 AR.Drone 并且

vx：X 速度 [m/s]
vy：Y 速度 [m/s]
vz：Z 速度 [m/s]
vr：旋转速度[rad/s]

我写了一个应用程序，它使用 OpenCV 对从无人机相机获得的图像进行简单的图像处理，并找到需要跟踪的物体的轮廓。请参见下面的示例：

现在我正在努力的部分是找到我应该使用的技术velocities 被发送到 move3D 函数。我读过，进行控制的常用方法是使用 PID 控制。但是，我已经阅读了相关内容，但无法理解它与这个问题有什么关系。

总而言之，我的问题是如何将机器人移向其相机检测到的物体？如何从相机中找到某些物体的坐标？

Answer 1

编辑：
所以，我刚刚意识到你正在使用无人机和你的坐标系统 WRT 无人机可能 x 向前进入图像，y 图像左侧（图像列），z 垂直向上（图像行）。我的答案有坐标 WRT 相机 x = 列，y = 行，z = 深度（进入图像）当你阅读我的大纲时请记住这一点。另外我写的都是psuedo-code，不多修改就不会运行

原文Post:
PID 控制器是比例-积分-微分控制器。它根据您的具体错误决定一个动作顺序。

对于您的问题，让我们假设最佳跟踪意味着矩形位于图像的中心，并且它占据了大约 30% 的像素 space。这意味着您移动 camera/bot 直到满足这些条件。我们将这些目标参数称为

x_ideal = image_width / 2
y_ideal = image_height / 2
area_ideal = image_width * image_height * 0.3

现在假设您的边界框由 4 个参数表征

(x_bounding, y_bounding, width_bounding_box, height_bounding_box)

您的错误大致如下：

x_err = x_bounding - x_ideal;
y_err = y_bounding - y_ideal;
z_err = area_ideal - (width_bounding_box * height_bounding_box)

请注意，我已将 z 距离（深度）与对象的大小联系起来。这假设被跟踪的对象是刚性的并且不会改变大小。大小的任何变化都是由于物体到相机的距离（较大的边界框表示物体近，小的表示物体远）。这是一个估计，但在没有相机或物体本身的任何参数的情况下，我们只能做出这些一般性陈述。

我们在创建控制序列时需要牢记符号，这就是为什么在做减法时顺序很重要。让我们从逻辑上考虑一下。 x_err 确定边界框与所需位置的水平距离。在我们的例子中，这应该是积极的，这意味着机器人应该向左移动，这样物体就会靠近图像的中心。盒子太小，意味着物体太远等

z_err < 0 : means bot is too close and needs to slow down, Vz should be reduced
z_err = 0 : keep the speed command the same, no change
z_err > 0 : we need to get closer, Vz should increase

x_err < 0 : means bot is to the right and needs to turn left(decreasing x), Vx should be reduced
x_err = 0 : keep the speed in X the same, no change to Vx
x_err > 0 : means bot is to the left and needs to turn right(increasing x), Vx should be increased

我们可以对每个 y 轴做同样的事情。现在我们使用此错误为机器人创建命令序列。

该描述听起来很像 PID 控制器。观察状态，找出错误，创建控制序列以减少错误，然后一遍又一遍地重复该过程。在您的情况下，速度将是您的算法输出的动作。您基本上将拥有 3 个 PID 运行ning

PID for X

PID for Y

PID for Z

因为它们本质上是正交的，我们可以说每个系统都是独立的（理想情况下是这样），在 x 方向上移动不应该影响 Y 方向。这个例子也完全忽略了轴承信息（Vr），但它是一个思想练习，而不是一个完整的解决方案

修正的确切速度由您的 PID 系数决定，这就是事情变得有点棘手的地方。 Here 是一个易于阅读（几乎没有数学）的概述或 PID 控制。您将不得不通过一些实验来使用您的系统（又名 "Tune" 您的参数）。这变得更加困难，因为相机不是完整的 3d 传感器，所以我们无法从环境中提取真实的测量值。在不了解有关您的 sensor/environment 的更多信息的情况下，很难将 ~30 pixels 的错误转换为 m/s，但我希望这能让您大致了解如何进行

从相机跟踪对象； PID控制；鹦鹉 AR 无人机 2

Tracking objects from camera; PID controlling; Parrot AR Drone 2

opencv

camera

robotics

ar.drone