OpenCV 检测围棋板的不同方法

Question

我正在开发一个 Android 应用程序，它将识别其中的 GO board and create a SGF file 个。

我制作了一个能够检测木板并扭曲视角使其呈正方形的版本（下面的代码和示例图片）不幸的是，添加石头时它变得有点困难。（下图）

关于平均棋盘的重要事项：

圆形黑白宝石
黑板上的黑线
板材颜色从白色到浅棕色，有时带有木纹
石头放在两条线的交点上

如果我错了请纠正我，但我认为我目前的方法不是一个好方法。有人对我如何将石头和线条与图片的其余部分分开有大致的了解吗？

我的代码：

    Mat input = inputFrame.rgba(); //original image
    Mat gray = new Mat();          //grayscale image

    //convert image to grayscale
    Imgproc.cvtColor( input, gray, Imgproc.COLOR_RGB2GRAY);

    //try to improve histogram (more contrast)
    equalizeHist(gray, gray);

    //blur image
    Size s = new Size(5,5);
    GaussianBlur(gray, gray, s, 0);

    //apply adaptive treshold 
    adaptiveThreshold( gray, gray, 255, Imgproc.ADAPTIVE_THRESH_GAUSSIAN_C, Imgproc.THRESH_BINARY,11,2);

    //adding secondary treshold, removes a lot of noise
    threshold(gray, gray, 0, 255, Imgproc.THRESH_BINARY + Imgproc.THRESH_OTSU);

部分图片：

_{（来源：eightytwo.axc.nl）}

编辑： 05-03-2016

耶！设法正确检测线石和颜色。前提条件图片只能是棋盘本身，没有任何其他背景可见。
我使用 houghLinesP (60lines) 和 houghCircles (17circles)，在我的 phone(1th gen Moto G) 上持续时间大约 5 秒。
当它必须在不同的角度和闪电条件下工作时，检测板和翘曲是一个相当大的挑战。仍在努力

仍然欢迎不同方法的建议！！

_{（来源：eightytwo.axc.nl）}

编辑： 15-03-2016

我找到了一种很好的方法来获得与交叉类型形态变换相交的线，不幸的是，当照片是在板的正上方拍摄时效果惊人，而不是在一个角度（见下文）
_{（来源：eightytwo.axc.nl）}

在我的上次更新中，我用一张从正上方拍摄的照片展示了线和石头检测，从那时起我一直致力于检测电路板并以一种使我的线和石头检测变得有用的方式扭曲它。

哈里斯角点检测
我努力获得正确的参数设置，我仍然不确定它们是否是最佳的，在使用哈里斯角之前找不到关于如何优化图像的太多信息。现在它检测到许多有用的角落。虽然感觉它可以工作。（上面一行以图片为例）

    Mat corners = new Mat();
    Imgproc.cornerHarris(image, corners, 5, 3, 0.03);

    Mat mask = new Mat(corners.size(), CvType.CV_8U, new Scalar(1));
    Core.MinMaxLocResult maxVal = Core.minMaxLoc(corners);

    Core.inRange(corners, new Scalar(maxVal.maxVal * 0.01), new Scalar(maxVal.maxVal), mask);

跨类型形态变换
当照片直接从上方拍摄、从某个角度使用或与旋转板一起使用时效果很好（示例中的图片中间线）

    Imgproc.GaussianBlur(image, image, new Size(5, 5), 0);
    Imgproc.adaptiveThreshold(image, image, 255, Imgproc.ADAPTIVE_THRESH_GAUSSIAN_C, Imgproc.THRESH_BINARY_INV, 11, 2);

    int morph_elem = 1;     //0: Rect - 1: Cross - 2: Ellipse
    int morph_size = 5;

    int morph_operator = 0; //0: Opening - 1: Closing \n 2: Gradient - 3: Top Hat \n 4: Black Hat
    Mat element = getStructuringElement( morph_elem, new Size(2 * morph_size + 1, 2 * morph_size + 1), new Point( morph_size, morph_size ));
    morphologyEx(image, image, morph_operator + 2, element);

等高线和轮廓线
如果外板上没有石头并且光线条件不刺眼，则效果很好。轮廓通常只是棋盘的一部分（示例中带有图片的下线）

    Imgproc.GaussianBlur(image, image, new Size(5, 5), 0);
    Imgproc.adaptiveThreshold(image, image, 255, Imgproc.ADAPTIVE_THRESH_GAUSSIAN_C, Imgproc.THRESH_BINARY_INV, 11, 2);

    Mat hierarchy = new Mat();
    MatOfPoint biggest     = null;
    int contourId          = 0;
    double biggestArea     = 0;

    double minSize = 2000;
    List<MatOfPoint> contours = new ArrayList<>();

    findContours(InvertedImage, contours, hierarchy, Imgproc.RETR_EXTERNAL, Imgproc.CHAIN_APPROX_SIMPLE);

    //find biggest
    for( int x = 0; x < contours.size() ; x++ ){

        double area = Imgproc.contourArea(contours.get(x));

        if( area > minSize && area > biggestArea ){

            biggestArea = area;
            biggest     = contours.get(x);
            contourId   = x;
        }
    }

提供正确的图片这三种方法都有效，但不够可靠。欢迎对参数、图像预处理、不同方法或任何可能改进检测的任何想法=)

link to picture

编辑： 31-03-2016

检测线和石头已经基本解决了，所以我将关闭这个问题。用于准确检测和变形。

任何对我的进步感兴趣的人：this is my GOSU Snap Alpha channel现在不要期望太多！

编辑： 16-10-2016

更新：我看到有些人还在关注这个问题。我测试了更多东西并开始使用 Tensorflow，我的神经网络看起来很有前途， you can have a look at it here. 还有很多工作要做，我目前的图像数据集很糟糕，现在我正在努力获得一个大数据集。

该应用程序最好使用带有粗线和适当闪电的方板。

Answer 1

假设您不想 "force" 您的最终用户拍摄最干净的照片（例如使用一些 QR 码扫描仪之类的叠加层）

也许您可以使用一些具有不同内核的形态学转换：

用矩形内核打开和关闭线条
用椭圆核打开和关闭得到石头（应该可以在某个点反转图像以得到白色或黑色的）

看看 http://docs.opencv.org/2.4/doc/tutorials/imgproc/opening_closing_hats/opening_closing_hats.html（抱歉这个是用 C++ 写的，但我认为这在 Java 中几乎是一样的）

我曾尝试过这些操作来从数独中删除网格以避免单元格提取中的噪声，而且效果非常好。

让我知道这些信息对您有用（这肯定是一个非常有趣的案例）

Answer 2

我正在开发相同的程序。我完全避免找台词。首先使用透视变换将板变成正方形，就像您所做的那样。找到 19x19 网格的边缘。然后假设电路板是 19x19，您可以计算线条的位置。这对我很有效。然后计算石头中心最近的交点以确定石头位于哪一行和哪一行。对我来说效果很好。唯一可能的是针对不同光照条件和不同颜色石材和板材的校准程序。

OpenCV 检测围棋板的不同方法

OpenCV different approach on detecting go board

android

opencv

image-recognition

baduk