从实时摄像头源而不是图像中按形状跟踪对象
Tracking Objects by Shape from a live camera feed rather than an Image
我有以下 C++ 代码,旨在从预先指定的图像中检测形状并绘制形状的周边。但是,我希望将其推进到下一步,并跟踪来自相机馈送的形状,而不仅仅是图像。但是,我不熟悉如何进行此转换。
#include <opencv2\opencv.hpp>
#include <opencv2\highgui\highgui.hpp>
int main()
{
IplImage* img = cvLoadImage("C:/Users/Ayush/Desktop/FindingContours.png");
//show the original image
cvNamedWindow("Raw");
cvShowImage("Raw", img);
//converting the original image into grayscale
IplImage* imgGrayScale = cvCreateImage(cvGetSize(img), 8, 1);
cvCvtColor(img, imgGrayScale, CV_BGR2GRAY);
//thresholding the grayscale image to get better results
cvThreshold(imgGrayScale, imgGrayScale, 128, 255, CV_THRESH_BINARY);
CvSeq* contours; //hold the pointer to a contour in the memory block
CvSeq* result; //hold sequence of points of a contour
CvMemStorage *storage = cvCreateMemStorage(0); //storage area for all contours
//finding all contours in the image
cvFindContours(imgGrayScale, storage, &contours, sizeof(CvContour), CV_RETR_LIST, CV_CHAIN_APPROX_SIMPLE, cvPoint(0, 0));
//iterating through each contour
while (contours) {
//obtain a sequence of points of contour, pointed by the variable 'contour'
result = cvApproxPoly(contours, sizeof(CvContour), storage, CV_POLY_APPROX_DP, cvContourPerimeter(contours)*0.02, 0);
//if there are 3 vertices in the contour(It should be a triangle)
if (result->total == 3) {
//iterating through each point
CvPoint *pt[3];
for (int i = 0; i < 3; i++) {
pt[i] = (CvPoint*)cvGetSeqElem(result, i);
}
//drawing lines around the triangle
cvLine(img, *pt[0], *pt[1], cvScalar(255, 0, 0), 4);
cvLine(img, *pt[1], *pt[2], cvScalar(255, 0, 0), 4);
cvLine(img, *pt[2], *pt[0], cvScalar(255, 0, 0), 4);
}
//if there are 4 vertices in the contour(It should be a quadrilateral)
else if (result->total == 4) {
//iterating through each point
CvPoint *pt[4];
for (int i = 0; i < 4; i++) {
pt[i] = (CvPoint*)cvGetSeqElem(result, i);
}
//drawing lines around the quadrilateral
cvLine(img, *pt[0], *pt[1], cvScalar(0, 255, 0), 4);
cvLine(img, *pt[1], *pt[2], cvScalar(0, 255, 0), 4);
cvLine(img, *pt[2], *pt[3], cvScalar(0, 255, 0), 4);
cvLine(img, *pt[3], *pt[0], cvScalar(0, 255, 0), 4);
}
//if there are 7 vertices in the contour(It should be a heptagon)
else if (result->total == 7) {
//iterating through each point
CvPoint *pt[7];
for (int i = 0; i < 7; i++) {
pt[i] = (CvPoint*)cvGetSeqElem(result, i);
}
//drawing lines around the heptagon
cvLine(img, *pt[0], *pt[1], cvScalar(0, 0, 255), 4);
cvLine(img, *pt[1], *pt[2], cvScalar(0, 0, 255), 4);
cvLine(img, *pt[2], *pt[3], cvScalar(0, 0, 255), 4);
cvLine(img, *pt[3], *pt[4], cvScalar(0, 0, 255), 4);
cvLine(img, *pt[4], *pt[5], cvScalar(0, 0, 255), 4);
cvLine(img, *pt[5], *pt[6], cvScalar(0, 0, 255), 4);
cvLine(img, *pt[6], *pt[0], cvScalar(0, 0, 255), 4);
}
//obtain the next contour
contours = contours->h_next;
}
//show the image in which identified shapes are marked
cvNamedWindow("Tracked");
cvShowImage("Tracked", img);
cvWaitKey(0); //wait for a key press
//cleaning up
cvDestroyAllWindows();
cvReleaseMemStorage(&storage);
cvReleaseImage(&img);
cvReleaseImage(&imgGrayScale);
return 0;
}
在此问题上的任何帮助都非常感谢。谢谢!
如果您使用的是 C++,我会首先重写它以使用 C++ OpenCV API,而不是这个旧的 C 语言——恕我直言,它更容易使用。在此过程中,将代码重构为更小的函数,并将处理与 I/O 解耦。最后,考虑一下视频只是一系列图像。如果您可以处理一张图像,那么您也可以处理一段视频,一次处理一帧。
那么,如何实现呢。让我们从头开始,写一个main()
函数。
要读取视频流,我们将使用 cv::VideoCapture
. We'll begin by initializing (and making sure that worked), and preparing some named windows 来显示输入和输出帧。
然后我们将在无限循环中开始处理各个帧,仅在帧获取失败或用户按下退出键时退出。在每次迭代中,我们将:
- Read 来自视频流的帧(并确保成功)
- 处理帧(我们稍后会为此编写一个函数)
- Display 我们命名的 windows
中的原始帧和处理后的帧
- Wait a bit,并检查用户是否按下了转义键,并进行适当的处理
代码:
int main()
{
cv::VideoCapture cap(0); // open the video camera no. 0
if (!cap.isOpened()) // if not success, exit program
{
std::cout << "Cannot open the video cam\n";
return -1;
}
cv::namedWindow("Original", CV_WINDOW_AUTOSIZE);
cv::namedWindow("Tracked", CV_WINDOW_AUTOSIZE);
// Process frames from the video stream...
for(;;) {
cv::Mat frame, result_frame;
// read a new frame from video
if (!cap.read(frame)) {
std::cout << "Cannot read a frame from video stream\n";
break;
}
process_frame(frame, result_frame);
cv::imshow("Original", frame);
cv::imshow("Tracked", result_frame);
if (cv::waitKey(20) == 27) { // Quit on ESC
break;
}
}
return 0;
}
注意:在适当的时候使用cv::waitKey
对于GUI的工作是必不可少的。仔细阅读文档。
完成后,是时候实现我们的 process_frame
函数了,但首先,让我们创建一些有用的全局类型定义。
在 C++ API 中,轮廓是 cv::Point
objects, and since more than one contour can be detected, we also need a std::vector
of contours. Similarly, hierarchy is represented as a std::vector
of cv::Vec4i
objects 的 std::vector
。 ("is" 是一个 lie-to-children,因为它也可能是其他数据类型,但现在这并不重要)。
typedef std::vector<cv::Point> contour_t;
typedef std::vector<contour_t> contour_vector_t;
typedef std::vector<cv::Vec4i> hierarchy_t;
让我们处理这个函数——它需要两个参数:
- 我们不想修改的输入帧(
cv::Mat
),我们只是分析它。
- 输出帧,我们将处理结果绘制到其中。
我们需要:
- 将原始帧复制到结果中,以便我们稍后在其上绘制。
- 使用
cv::cvtColor
制作一个灰度版本,这样我们就可以
cv::threshold
吧,二值化图像
cv::findContours
在二进制图像上
- 最后,处理每个检测到的轮廓(可能绘制到结果帧中)。
代码:
void process_frame(cv::Mat const& frame, cv::Mat& result_frame)
{
frame.copyTo(result_frame);
cv::Mat feedGrayScale;
cv::cvtColor(frame, feedGrayScale, cv::COLOR_BGR2GRAY);
//thresholding the grayscale image to get better results
cv::threshold(feedGrayScale, feedGrayScale, 128, 255, cv::THRESH_BINARY);
contour_vector_t contours;
hierarchy_t hierarchy;
cv::findContours(feedGrayScale, contours, hierarchy, cv::RETR_LIST, cv::CHAIN_APPROX_SIMPLE);
for (size_t k(0); k < contours.size(); ++k) {
process_contour(result_frame, contours[k]);
}
}
最后一步,处理单个轮廓的函数。它需要:
- 要绘制的图像 (
cv::Mat
)
- 要使用的轮廓
首先,我们要近似一个多边形,使用周长的分数(我们可以使用 cv::arcLength
来计算)作为参数。我们将继续处理这个近似的轮廓。
接下来,我们要处理三种具体情况:三角形、四边形和七边形。我们想用不同的颜色绘制每个人的轮廓,否则我们什么都不做。要绘制构成轮廓的线序列,我们可以使用 cv::polylines
.
代码:
void process_contour(cv::Mat& frame, contour_t const& contour)
{
contour_t approx_contour;
cv::approxPolyDP(contour, approx_contour, cv::arcLength(contour, true) * 0.02, true);
cv::Scalar TRIANGLE_COLOR(255, 0, 0);
cv::Scalar QUADRILATERAL_COLOR(0, 255, 0);
cv::Scalar HEPTAGON_COLOR(0, 0, 255);
cv::Scalar colour;
if (approx_contour.size() == 3) {
colour = TRIANGLE_COLOR;
} else if (approx_contour.size() == 4) {
colour = QUADRILATERAL_COLOR;
} else if (approx_contour.size() == 7) {
colour = HEPTAGON_COLOR;
} else {
return;
}
cv::Point const* points(&approx_contour[0]);
int n_points(static_cast<int>(approx_contour.size()));
polylines(frame, &points, &n_points, 1, true, colour, 4);
}
注意:std::vector
保证连续。这就是为什么我们可以通过获取第一个元素(&approx_contour[0]
)的地址来安全地获取指针。
注意:避免使用
using namespace std;
using namespace cv;
有关详细信息,请参阅 Why is “using namespace std” considered bad practice?
我有以下 C++ 代码,旨在从预先指定的图像中检测形状并绘制形状的周边。但是,我希望将其推进到下一步,并跟踪来自相机馈送的形状,而不仅仅是图像。但是,我不熟悉如何进行此转换。
#include <opencv2\opencv.hpp>
#include <opencv2\highgui\highgui.hpp>
int main()
{
IplImage* img = cvLoadImage("C:/Users/Ayush/Desktop/FindingContours.png");
//show the original image
cvNamedWindow("Raw");
cvShowImage("Raw", img);
//converting the original image into grayscale
IplImage* imgGrayScale = cvCreateImage(cvGetSize(img), 8, 1);
cvCvtColor(img, imgGrayScale, CV_BGR2GRAY);
//thresholding the grayscale image to get better results
cvThreshold(imgGrayScale, imgGrayScale, 128, 255, CV_THRESH_BINARY);
CvSeq* contours; //hold the pointer to a contour in the memory block
CvSeq* result; //hold sequence of points of a contour
CvMemStorage *storage = cvCreateMemStorage(0); //storage area for all contours
//finding all contours in the image
cvFindContours(imgGrayScale, storage, &contours, sizeof(CvContour), CV_RETR_LIST, CV_CHAIN_APPROX_SIMPLE, cvPoint(0, 0));
//iterating through each contour
while (contours) {
//obtain a sequence of points of contour, pointed by the variable 'contour'
result = cvApproxPoly(contours, sizeof(CvContour), storage, CV_POLY_APPROX_DP, cvContourPerimeter(contours)*0.02, 0);
//if there are 3 vertices in the contour(It should be a triangle)
if (result->total == 3) {
//iterating through each point
CvPoint *pt[3];
for (int i = 0; i < 3; i++) {
pt[i] = (CvPoint*)cvGetSeqElem(result, i);
}
//drawing lines around the triangle
cvLine(img, *pt[0], *pt[1], cvScalar(255, 0, 0), 4);
cvLine(img, *pt[1], *pt[2], cvScalar(255, 0, 0), 4);
cvLine(img, *pt[2], *pt[0], cvScalar(255, 0, 0), 4);
}
//if there are 4 vertices in the contour(It should be a quadrilateral)
else if (result->total == 4) {
//iterating through each point
CvPoint *pt[4];
for (int i = 0; i < 4; i++) {
pt[i] = (CvPoint*)cvGetSeqElem(result, i);
}
//drawing lines around the quadrilateral
cvLine(img, *pt[0], *pt[1], cvScalar(0, 255, 0), 4);
cvLine(img, *pt[1], *pt[2], cvScalar(0, 255, 0), 4);
cvLine(img, *pt[2], *pt[3], cvScalar(0, 255, 0), 4);
cvLine(img, *pt[3], *pt[0], cvScalar(0, 255, 0), 4);
}
//if there are 7 vertices in the contour(It should be a heptagon)
else if (result->total == 7) {
//iterating through each point
CvPoint *pt[7];
for (int i = 0; i < 7; i++) {
pt[i] = (CvPoint*)cvGetSeqElem(result, i);
}
//drawing lines around the heptagon
cvLine(img, *pt[0], *pt[1], cvScalar(0, 0, 255), 4);
cvLine(img, *pt[1], *pt[2], cvScalar(0, 0, 255), 4);
cvLine(img, *pt[2], *pt[3], cvScalar(0, 0, 255), 4);
cvLine(img, *pt[3], *pt[4], cvScalar(0, 0, 255), 4);
cvLine(img, *pt[4], *pt[5], cvScalar(0, 0, 255), 4);
cvLine(img, *pt[5], *pt[6], cvScalar(0, 0, 255), 4);
cvLine(img, *pt[6], *pt[0], cvScalar(0, 0, 255), 4);
}
//obtain the next contour
contours = contours->h_next;
}
//show the image in which identified shapes are marked
cvNamedWindow("Tracked");
cvShowImage("Tracked", img);
cvWaitKey(0); //wait for a key press
//cleaning up
cvDestroyAllWindows();
cvReleaseMemStorage(&storage);
cvReleaseImage(&img);
cvReleaseImage(&imgGrayScale);
return 0;
}
在此问题上的任何帮助都非常感谢。谢谢!
如果您使用的是 C++,我会首先重写它以使用 C++ OpenCV API,而不是这个旧的 C 语言——恕我直言,它更容易使用。在此过程中,将代码重构为更小的函数,并将处理与 I/O 解耦。最后,考虑一下视频只是一系列图像。如果您可以处理一张图像,那么您也可以处理一段视频,一次处理一帧。
那么,如何实现呢。让我们从头开始,写一个main()
函数。
要读取视频流,我们将使用 cv::VideoCapture
. We'll begin by initializing (and making sure that worked), and preparing some named windows 来显示输入和输出帧。
然后我们将在无限循环中开始处理各个帧,仅在帧获取失败或用户按下退出键时退出。在每次迭代中,我们将:
- Read 来自视频流的帧(并确保成功)
- 处理帧(我们稍后会为此编写一个函数)
- Display 我们命名的 windows 中的原始帧和处理后的帧
- Wait a bit,并检查用户是否按下了转义键,并进行适当的处理
代码:
int main()
{
cv::VideoCapture cap(0); // open the video camera no. 0
if (!cap.isOpened()) // if not success, exit program
{
std::cout << "Cannot open the video cam\n";
return -1;
}
cv::namedWindow("Original", CV_WINDOW_AUTOSIZE);
cv::namedWindow("Tracked", CV_WINDOW_AUTOSIZE);
// Process frames from the video stream...
for(;;) {
cv::Mat frame, result_frame;
// read a new frame from video
if (!cap.read(frame)) {
std::cout << "Cannot read a frame from video stream\n";
break;
}
process_frame(frame, result_frame);
cv::imshow("Original", frame);
cv::imshow("Tracked", result_frame);
if (cv::waitKey(20) == 27) { // Quit on ESC
break;
}
}
return 0;
}
注意:在适当的时候使用cv::waitKey
对于GUI的工作是必不可少的。仔细阅读文档。
完成后,是时候实现我们的 process_frame
函数了,但首先,让我们创建一些有用的全局类型定义。
在 C++ API 中,轮廓是 cv::Point
objects, and since more than one contour can be detected, we also need a std::vector
of contours. Similarly, hierarchy is represented as a std::vector
of cv::Vec4i
objects 的 std::vector
。 ("is" 是一个 lie-to-children,因为它也可能是其他数据类型,但现在这并不重要)。
typedef std::vector<cv::Point> contour_t;
typedef std::vector<contour_t> contour_vector_t;
typedef std::vector<cv::Vec4i> hierarchy_t;
让我们处理这个函数——它需要两个参数:
- 我们不想修改的输入帧(
cv::Mat
),我们只是分析它。 - 输出帧,我们将处理结果绘制到其中。
我们需要:
- 将原始帧复制到结果中,以便我们稍后在其上绘制。
- 使用
cv::cvtColor
制作一个灰度版本,这样我们就可以 cv::threshold
吧,二值化图像cv::findContours
在二进制图像上- 最后,处理每个检测到的轮廓(可能绘制到结果帧中)。
代码:
void process_frame(cv::Mat const& frame, cv::Mat& result_frame)
{
frame.copyTo(result_frame);
cv::Mat feedGrayScale;
cv::cvtColor(frame, feedGrayScale, cv::COLOR_BGR2GRAY);
//thresholding the grayscale image to get better results
cv::threshold(feedGrayScale, feedGrayScale, 128, 255, cv::THRESH_BINARY);
contour_vector_t contours;
hierarchy_t hierarchy;
cv::findContours(feedGrayScale, contours, hierarchy, cv::RETR_LIST, cv::CHAIN_APPROX_SIMPLE);
for (size_t k(0); k < contours.size(); ++k) {
process_contour(result_frame, contours[k]);
}
}
最后一步,处理单个轮廓的函数。它需要:
- 要绘制的图像 (
cv::Mat
) - 要使用的轮廓
首先,我们要近似一个多边形,使用周长的分数(我们可以使用 cv::arcLength
来计算)作为参数。我们将继续处理这个近似的轮廓。
接下来,我们要处理三种具体情况:三角形、四边形和七边形。我们想用不同的颜色绘制每个人的轮廓,否则我们什么都不做。要绘制构成轮廓的线序列,我们可以使用 cv::polylines
.
代码:
void process_contour(cv::Mat& frame, contour_t const& contour)
{
contour_t approx_contour;
cv::approxPolyDP(contour, approx_contour, cv::arcLength(contour, true) * 0.02, true);
cv::Scalar TRIANGLE_COLOR(255, 0, 0);
cv::Scalar QUADRILATERAL_COLOR(0, 255, 0);
cv::Scalar HEPTAGON_COLOR(0, 0, 255);
cv::Scalar colour;
if (approx_contour.size() == 3) {
colour = TRIANGLE_COLOR;
} else if (approx_contour.size() == 4) {
colour = QUADRILATERAL_COLOR;
} else if (approx_contour.size() == 7) {
colour = HEPTAGON_COLOR;
} else {
return;
}
cv::Point const* points(&approx_contour[0]);
int n_points(static_cast<int>(approx_contour.size()));
polylines(frame, &points, &n_points, 1, true, colour, 4);
}
注意:std::vector
保证连续。这就是为什么我们可以通过获取第一个元素(&approx_contour[0]
)的地址来安全地获取指针。
注意:避免使用
using namespace std;
using namespace cv;
有关详细信息,请参阅 Why is “using namespace std” considered bad practice?