从相机跟踪对象; PID控制;鹦鹉 AR 无人机 2
Tracking objects from camera; PID controlling; Parrot AR Drone 2
我正在做一个项目,我应该使用 Parrot AR Drone 2.0 的相机实现对象跟踪技术。所以主要的想法是,无人机应该能够识别指定的颜色,然后保持一定距离跟随它。
我正在使用 opencv API 与无人机建立通信。 API 提供功能:
ARDrone::move3D(double vx, double vy, double vz, double vr)
在 3D space 中移动 AR.Drone 并且
- vx:X 速度 [m/s]
- vy:Y 速度 [m/s]
- vz:Z 速度 [m/s]
- vr:旋转速度[rad/s]
我写了一个应用程序,它使用 OpenCV 对从无人机相机获得的图像进行简单的图像处理,并找到需要跟踪的物体的轮廓。请参见下面的示例:
现在我正在努力的部分是找到我应该使用的技术velocities 被发送到 move3D 函数。我读过,进行控制的常用方法是使用 PID 控制。但是,我已经阅读了相关内容,但无法理解它与这个问题有什么关系。
总而言之,我的问题是如何将机器人移向其相机检测到的物体?如何从相机中找到某些物体的坐标?
编辑:
所以,我刚刚意识到你正在使用无人机和你的坐标系统 WRT 无人机可能 x 向前进入图像,y 图像左侧(图像列),z 垂直向上(图像行)。我的答案有坐标 WRT 相机 x = 列,y = 行,z = 深度(进入图像)当你阅读我的大纲时请记住这一点。另外我写的都是psuedo-code,不多修改就不会运行
原文Post:
PID 控制器是比例-积分-微分控制器。它根据您的具体错误决定一个动作顺序。
对于您的问题,让我们假设最佳跟踪意味着矩形位于图像的中心,并且它占据了大约 30% 的像素 space。这意味着您移动 camera/bot 直到满足这些条件。我们将这些目标参数称为
x_ideal = image_width / 2
y_ideal = image_height / 2
area_ideal = image_width * image_height * 0.3
现在假设您的边界框由 4 个参数表征
(x_bounding, y_bounding, width_bounding_box, height_bounding_box)
您的错误大致如下:
x_err = x_bounding - x_ideal;
y_err = y_bounding - y_ideal;
z_err = area_ideal - (width_bounding_box * height_bounding_box)
请注意,我已将 z 距离(深度)与对象的大小联系起来。这假设被跟踪的对象是刚性的并且不会改变大小。大小的任何变化都是由于物体到相机的距离(较大的边界框表示物体近,小的表示物体远)。这是一个估计,但在没有相机或物体本身的任何参数的情况下,我们只能做出这些一般性陈述。
我们在创建控制序列时需要牢记符号,这就是为什么在做减法时顺序很重要。让我们从逻辑上考虑一下。 x_err
确定边界框与所需位置的水平距离。在我们的例子中,这应该是积极的,这意味着机器人应该向左移动,这样物体就会靠近图像的中心。盒子太小,意味着物体太远等
z_err < 0 : means bot is too close and needs to slow down, Vz should be reduced
z_err = 0 : keep the speed command the same, no change
z_err > 0 : we need to get closer, Vz should increase
x_err < 0 : means bot is to the right and needs to turn left(decreasing x), Vx should be reduced
x_err = 0 : keep the speed in X the same, no change to Vx
x_err > 0 : means bot is to the left and needs to turn right(increasing x), Vx should be increased
我们可以对每个 y 轴做同样的事情。现在我们使用此错误为机器人创建命令序列。
该描述听起来很像 PID 控制器。观察状态,找出错误,创建控制序列以减少错误,然后一遍又一遍地重复该过程。在您的情况下,速度将是您的算法输出的动作。您基本上将拥有 3 个 PID 运行ning
- PID for X
- PID for Y
- PID for Z
因为它们本质上是正交的,我们可以说每个系统都是独立的(理想情况下是这样),在 x 方向上移动不应该影响 Y 方向。这个例子也完全忽略了轴承信息(Vr
),但它是一个思想练习,而不是一个完整的解决方案
修正的确切速度由您的 PID 系数决定,这就是事情变得有点棘手的地方。 Here 是一个易于阅读(几乎没有数学)的概述或 PID 控制。您将不得不通过一些实验来使用您的系统(又名 "Tune" 您的参数)。这变得更加困难,因为相机不是完整的 3d 传感器,所以我们无法从环境中提取真实的测量值。在不了解有关您的 sensor/environment 的更多信息的情况下,很难将 ~30 pixels
的错误转换为 m/s
,但我希望这能让您大致了解如何进行
我正在做一个项目,我应该使用 Parrot AR Drone 2.0 的相机实现对象跟踪技术。所以主要的想法是,无人机应该能够识别指定的颜色,然后保持一定距离跟随它。
我正在使用 opencv API 与无人机建立通信。 API 提供功能:
ARDrone::move3D(double vx, double vy, double vz, double vr)
在 3D space 中移动 AR.Drone 并且
- vx:X 速度 [m/s]
- vy:Y 速度 [m/s]
- vz:Z 速度 [m/s]
- vr:旋转速度[rad/s]
我写了一个应用程序,它使用 OpenCV 对从无人机相机获得的图像进行简单的图像处理,并找到需要跟踪的物体的轮廓。请参见下面的示例:
现在我正在努力的部分是找到我应该使用的技术velocities 被发送到 move3D 函数。我读过,进行控制的常用方法是使用 PID 控制。但是,我已经阅读了相关内容,但无法理解它与这个问题有什么关系。
总而言之,我的问题是如何将机器人移向其相机检测到的物体?如何从相机中找到某些物体的坐标?
编辑:
所以,我刚刚意识到你正在使用无人机和你的坐标系统 WRT 无人机可能 x 向前进入图像,y 图像左侧(图像列),z 垂直向上(图像行)。我的答案有坐标 WRT 相机 x = 列,y = 行,z = 深度(进入图像)当你阅读我的大纲时请记住这一点。另外我写的都是psuedo-code,不多修改就不会运行
原文Post:
PID 控制器是比例-积分-微分控制器。它根据您的具体错误决定一个动作顺序。
对于您的问题,让我们假设最佳跟踪意味着矩形位于图像的中心,并且它占据了大约 30% 的像素 space。这意味着您移动 camera/bot 直到满足这些条件。我们将这些目标参数称为
x_ideal = image_width / 2
y_ideal = image_height / 2
area_ideal = image_width * image_height * 0.3
现在假设您的边界框由 4 个参数表征
(x_bounding, y_bounding, width_bounding_box, height_bounding_box)
您的错误大致如下:
x_err = x_bounding - x_ideal;
y_err = y_bounding - y_ideal;
z_err = area_ideal - (width_bounding_box * height_bounding_box)
请注意,我已将 z 距离(深度)与对象的大小联系起来。这假设被跟踪的对象是刚性的并且不会改变大小。大小的任何变化都是由于物体到相机的距离(较大的边界框表示物体近,小的表示物体远)。这是一个估计,但在没有相机或物体本身的任何参数的情况下,我们只能做出这些一般性陈述。
我们在创建控制序列时需要牢记符号,这就是为什么在做减法时顺序很重要。让我们从逻辑上考虑一下。 x_err
确定边界框与所需位置的水平距离。在我们的例子中,这应该是积极的,这意味着机器人应该向左移动,这样物体就会靠近图像的中心。盒子太小,意味着物体太远等
z_err < 0 : means bot is too close and needs to slow down, Vz should be reduced
z_err = 0 : keep the speed command the same, no change
z_err > 0 : we need to get closer, Vz should increasex_err < 0 : means bot is to the right and needs to turn left(decreasing x), Vx should be reduced
x_err = 0 : keep the speed in X the same, no change to Vx
x_err > 0 : means bot is to the left and needs to turn right(increasing x), Vx should be increased
我们可以对每个 y 轴做同样的事情。现在我们使用此错误为机器人创建命令序列。
该描述听起来很像 PID 控制器。观察状态,找出错误,创建控制序列以减少错误,然后一遍又一遍地重复该过程。在您的情况下,速度将是您的算法输出的动作。您基本上将拥有 3 个 PID 运行ning
- PID for X
- PID for Y
- PID for Z
因为它们本质上是正交的,我们可以说每个系统都是独立的(理想情况下是这样),在 x 方向上移动不应该影响 Y 方向。这个例子也完全忽略了轴承信息(Vr
),但它是一个思想练习,而不是一个完整的解决方案
修正的确切速度由您的 PID 系数决定,这就是事情变得有点棘手的地方。 Here 是一个易于阅读(几乎没有数学)的概述或 PID 控制。您将不得不通过一些实验来使用您的系统(又名 "Tune" 您的参数)。这变得更加困难,因为相机不是完整的 3d 传感器,所以我们无法从环境中提取真实的测量值。在不了解有关您的 sensor/environment 的更多信息的情况下,很难将 ~30 pixels
的错误转换为 m/s
,但我希望这能让您大致了解如何进行