查找轮廓的边缘 strength/magnitude 以查找和排除模糊对象

Question

我想使用 python 为灰度图像中的每个对象找到边缘强度值。我通过阈值检测对象来创建二进制图像，然后 opencv findContours 给我边缘。我在每张图像中检测到的这些对象中有一些是模糊的，我想根据轮廓边缘梯度的大小排除它们（有关对焦对象和模糊对象的示例，请参见下图）。处理每个轮廓的边缘强度以给出每个对象的边缘强度值的最佳方法是什么，这样我就可以根据我可以计算出的某个阈值排除模糊的对象？

contours, hierarchy = cv2.findContours(binary_img, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
edges = cv2.drawContours(original_image, contours, -1, (255, 255, 255), 1)

我在通过阈值生成的二值图像上使用上面的代码来绘制原始图像上的边缘。下一步是发送检测到的对象进行处理，但我希望排除模糊的对象，因为它们不需要进一步分析。下面的图片显示了一个绘制了边缘的图像，我想找到一些描述我找到的每个对象的每个边缘像素的平均边缘梯度的值，并且只进一步处理那些边缘幅度高于某个阈值的人，也就是在重点。

原图：

有边：

Answer 1

如果我理解你的问题，你可以尝试使用一些衍生内核来获得一些阈值。例如 [-1 0 1] 内核可能工作。另外你可以看看Canny边缘检测算法，也许会有帮助。

Answer 2

这是一个可能的方法

将图像转换为灰度
自适应阈值获取二值图像
扩张以增强轮廓
寻找轮廓并提取 ROI
执行拉普拉斯算子的变体以进行模糊检测

我们首先转换为灰度和自适应阈值

import cv2
import numpy as np

image = cv2.imread('1.jpg')

result = image.copy()
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
thresh = cv2.threshold(gray, 0, 255,cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1]

接下来我们扩张以增强轮廓

kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5,5))
dilate = cv2.dilate(thresh, kernel, iterations=3)

现在我们找到轮廓并提取每个 ROI。我们使用拉普拉斯算子的变化对这个 ROI 轮廓进行模糊检测。

cv2.Laplacian(image, cv2.CV_64F).var()

本质上，我们采用图像的单个通道并将其与以下 3x3 内核进行卷积，然后取响应的标准差平方。如果方差低于定义的阈值，则 ROI 是模糊的，否则 ROI 不模糊。看看这个 blog post 了解更多详情

[0  1  0]
[1 -4  1]
[0  1  0]

这是结果

ROI_Number: 1, Value: 27.655757845590053

ROI_Number: 2, Value: 7.385658155007905

ROI_num = 0
for c in cnts:
    x,y,w,h = cv2.boundingRect(c)
    ROI = image[y:y+h, x:x+w]
    value = cv2.Laplacian(ROI, cv2.CV_64F).var()  
    cv2.rectangle(result, (x, y), (x + w, y + h), (36,255,12), 2)
    cv2.putText(result, "{0:.2f}".format(value), (x,y - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (36,255,12), 2)
    cv2.imshow("ROI_{}".format(ROI_num), ROI)
    ROI_num += 1
    
    print('ROI_Number: {}, Value: {}'.format(ROI_num, value))

这是另一张图片的结果

ROI_Number: 1, Value: 23.96665214233842

ROI_Number: 2, Value: 67.59560601952461

完整代码

import cv2
import numpy as np

image = cv2.imread('1.jpg')

result = image.copy()
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
thresh = cv2.threshold(gray, 0, 255,cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1]
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5,5))
dilate = cv2.dilate(thresh, kernel, iterations=3)

cnts = cv2.findContours(dilate, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]

ROI_num = 0
for c in cnts:
    x,y,w,h = cv2.boundingRect(c)
    ROI = image[y:y+h, x:x+w]
    value = cv2.Laplacian(ROI, cv2.CV_64F).var()  
    cv2.rectangle(result, (x, y), (x + w, y + h), (36,255,12), 2)
    cv2.putText(result, "{0:.2f}".format(value), (x,y - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (36,255,12), 2)
    cv2.imshow("ROI_{}".format(ROI_num), ROI)
    ROI_num += 1
    
    print('ROI_Number: {}, Value: {}'.format(ROI_num, value))

cv2.imshow('thresh', thresh)
cv2.imshow('dilate', dilate)
cv2.imshow('result', result)
cv2.waitKey(0)

Answer 3

一种简单的方法是计算梯度幅值图像并评估沿检测到的轮廓或整个 blob 内部的梯度。可能更好，在通过扩大轮廓获得的环内。

查找轮廓的边缘 strength/magnitude 以查找和排除模糊对象

Find the edge strength/magnitude of a contour to find and exclude blurry objects

python

opencv

image-processing

edge-detection

blurry