使用 arduino、处理和 opencv 进行面部跟踪的 Arduino 伺服

Question

我正在做一个项目，通过在伺服系统上使用摄像头，让你的脸保持在屏幕中央。我在 arduino playground 网站上使用了简单的伺服控制教程，使用鼠标控制伺服并尝试重写它以使用您脸部的 x 坐标使伺服朝所需方向移动。

到目前为止，我已经可以使用内置摄像头了。伺服器在我的脸的正确方向上很好地移动。但是，一旦我在伺服器上使用外部 USB 摄像头而不是内置摄像头，我就得不到想要的结果。相机不想看我。一旦它检测到你的脸，它就会直接朝相反的方向转弯。所以如果相机检测到你的脸在屏幕左侧，舵机就会向右转，直到你的脸离开屏幕。

我希望有人能回答或帮助我解释为什么它适用于内置摄像头，但当我使用我连接在伺服器上的 USB 摄像头时却不行。

我在 Processing 中使用 Arduino、Processing 和 OpenCV 库。

这是我目前拥有的代码：

Arduino 代码：

#include <Servo.h>

Servo servo1; Servo servo2; 

void setup() {
 servo1.attach(4);  
 servo2.attach(10);

 Serial.begin(19200);
 Serial.println("Ready");
}

void loop() {

 static int v = 0;

 if ( Serial.available()) {
   char ch = Serial.read();

   switch(ch) {
     case '0'...'9':
       v = v * 10 + ch - '0';
        /*
           so if the chars sent are 45x (turn x servo to 45 degs)..
           v is the value we want to send to the servo and it is currently 0
           The first char (ch) is 4 so
           0*10 = 0 + 4 - 0 = 4;
           Second char is 4;
           4*10 = 40 + 5 = 45 - 0 = 45;
           Third char is not a number(0-9) so we  drop through...
        */
       break;
     case 's':
       servo1.write(v);
       v = 0;
       break;
     case 'w':
       servo2.write(v);
       v = 0;
       break;
     case 'd':
       servo2.detach();
       break;
     case 'a':
       servo2.attach(10);
       break;
   }
 }
}

我的处理代码：

import gab.opencv.*;
import processing.video.*;
import java.awt.*;

//----------------
import processing.serial.*;  

int gx = 15;
int gy = 35;
//int spos=90;
float midden=90;


float leftColor = 0.0;
float rightColor = 0.0;
Serial port; 
//----------------

Capture video;
OpenCV opencv;

void setup() {
  size(640, 480);


  String[] cameras = Capture.list();
  if (cameras.length == 0) {
    println("There are no cameras available for capture.");
    exit();
  } else {
    println("Available cameras:");
    for (int i = 0; i < cameras.length; i++) {
      println(cameras[i]);
    }
  }

  //----------------
  colorMode(RGB, 1.0);
  noStroke();

  frameRate(100);

  //println(Serial.list()); // List COM-ports

  //select second com-port from the list
  port = new Serial(this, Serial.list()[5], 19200); //arduino aangesloten aan linker USB
  //----------------

  video = new Capture(this, 640/2, 480/2, "USB2.0 Camera"); //external camera rechter USB
  //video = new Capture(this, 640/2, 480/2); //built-in camera
  opencv = new OpenCV(this, 640/2, 480/2);
  opencv.loadCascade(OpenCV.CASCADE_FRONTALFACE);  

  video.start();
  //-_-_-_-_-_-_-_-_-  weergave kleur camera
  opencv.useColor();
}

void draw() {
  //---------------- Mouse Control
  background(0.0);
  update(mouseX); 
  fill(mouseX/4); 
  rect(150, 320, gx*2, gx*2); 
  fill(180 - (mouseX/4)); 
  rect(450, 320, gy*2, gy*2);
  //----------------


  scale(2);
  opencv.loadImage(video);
  //-_-_-_-_-_-_-_-_-  Flip camera image
  opencv.flip(OpenCV.HORIZONTAL); 

  image(video, 0, 0 );


  //-_-_-_-_-_-_-_-_-
  image(opencv.getOutput(), 0, 0 );

  noFill();
  stroke(0, 255, 0);
  strokeWeight(3);
  Rectangle[] faces = opencv.detect();
  //println(faces.length);

  for (int i = 0; i < faces.length; i++) {
    println(faces[i].x + "," + faces[i].y);
    rect(faces[i].x, faces[i].y, faces[i].width, faces[i].height); //groene vierkant om het gezicht
    ellipse( faces[i].x + 0.5*faces[i].width, faces[i].y + 0.5*faces[i].height, 5, 5 ); //middenpunt v.h. gezicht
    midden= (faces[i].x + 0.5*faces[i].width);
    //midden= (faces[i].x);
  }
}

void captureEvent(Capture c) {
  c.read();
}

  //---------------- servo controls voor muislocatie en draaiing servo
void update(int x) 
{
  //Calculate servo postion from mouseX
  //spos= x/4;
  //Output the servo position ( from 0 to 180)
  port.write("s"+midden); 
  println(midden);
//    if( midden>80 && midden<150){
//     port.write("s"+90); 
//    } else if(midden<80){
//     port.write("s"+45);
//    }else{
//     port.write("s"+135); 
//    }
}
  //----------------

Answer 1

听起来两张图片是颠倒的。要对此进行测试，请尝试在两个图像的左侧绘制一个圆圈（然后使用 imshow 显示）以查看它们是否最终位于同一位置。

使用 arduino、处理和 opencv 进行面部跟踪的 Arduino 伺服

Arduino servo with facetracking using arduino, processing and opencv

processing

opencv

arduino

servo