如何使用Python和OpenCV实现良好的边缘检测来校准一些非常小的东西

Question

我想用Python和OpenCV实现一个non-Neural网络边缘检测来标定一些非常小的东西，比如显微镜下的精子。不幸的是，我发现精子的尾巴很难校准，而且与背景非常相似。

我用cv2.pyrMeanShiftFiltering()实现降噪，用cv2.findContours()找轮廓。结果是这样的：

结果：

这是原图：

这是我的代码：

import cv2 as cv
import numpy as np
import os
path = "/home/rafael/Desktop/2.jpg"

def detection(img):
    gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
    #ret, dst = cv.threshold(gray, 200, 255, cv.THRESH_OTSU)
    ret, dst = cv.threshold(gray, 188, 255, cv.THRESH_BINARY_INV)
    return dst

image = cv.imread(path)

img = cv.pyrMeanShiftFiltering(src = image, sp = 5, sr = 40)

dst = detection(img)
src, contours, hierarchy = cv.findContours(dst, cv.RETR_TREE, cv.CHAIN_APPROX_NONE)
cv.drawContours(image, contours, -1, (0, 0, 255), 2)
cv.namedWindow('img', cv.WINDOW_NORMAL)
cv.imshow('img', image)
cv.waitKey(0)

我试过Luke的方法，代码在这里：

import cv2 as cv
import numpy as np
import os

path = "/home/rafael/Desktop/2.jpg"

def enhance(img):
    img = cv.resize(img, (0, 0), fx = 0.3, fy = 0.3)
    blur = cv.GaussianBlur(img, (23, 23), 0)
    img = cv.add(img[:, :, 1], (img[:, :, 1] - blur[:, :, 1]))
    return img

def detection(img):
    ret, dst = cv.threshold(img, 190, 255, cv.THRESH_BINARY_INV)
    return dst

image = cv.imread(path)
img = enhance(image)
dst = detection(img)

src, contours, hierarchy = cv.findContours(dst, cv.RETR_TREE, cv.CHAIN_APPROX_NONE)
cv.drawContours(img, contours, -1, (0, 0, 255), 2)
cv.namedWindow('img', cv.WINDOW_NORMAL)
cv.imshow('img', img)
cv.waitKey(0)

这是结果： The latest picture 虽然我用了很大的阈值（190），甚至出现了很多噪音，代码还是找不到尾巴。我该如何解决这个问题？如果有人能教我如何改进这个简单的边缘检测程序，非常感谢。

Answer 1

您可能希望在执行任何操作之前增强图像。通过 this Wikipedia page，我遇到了 unsharp-masking 的以下公式：

锐化=原始+（原始-模糊）×数量

假设 amount = 1，我写了以下片段：

#--- resized the image (too big !!!) ---
im = cv2.resize(im, (0, 0), fx = 0.3, fy = 0.3)

#--- smoothen the image ---
blur = cv2.GaussianBlur(im, (23, 23), 0)

#--- applied the formula assuming amount = 1---
cv2.imshow('sharpened', cv2.add(im[:,:,1], (im[:,:,1] - blur[:,:,1])))

这是我得到的：

尾巴现在更明显了。使用它来进一步增强您的检测机制。

Answer 2

有很多创造性的方法来进行高频边缘的边缘检测（例如精子尾巴）

我推荐 cv2.Canny() 用于一般边缘检测 - 您将不得不针对您的特定应用使用输入。

或者，你可以做一个高斯差异，你用两个不同的西格玛取 cv2.GaussianBlur() 并取差异 (https://en.wikipedia.org/wiki/Difference_of_Gaussians) 即，

blur1 = cv2.GaussianBlur(im, (5,5), sigmaX_1, sigmaY_1)
blur2 = cv2.GaussianBlur(im, (5,5), sigmaX_2, sigmaY_2)
DoG_edge = blur1 - blur2

最后一种可能性是您还可以尝试一些直方图操作来增强精子的尾巴。

Answer 3

精子尾巴总是green-blue在灰色背景上吗？在这种情况下，您可以使用简单的分割。

首先将图像转成HSV，如果H值在blue/green范围内，则标记为前景。

import cv2
import numpy as np

img = cv2.imread('img.jpg')

hsv = cv2.cvtColor(img,cv2.COLOR_BGR2HSV)
lower = np.array([50, 10, 10])
upper = np.array([120, 255, 255])
mask = cv2.inRange(hsv, lower, upper)
res = cv2.bitwise_and(img,img, mask= mask)
cv2.imwrite('test.jpg', res)

kernel = np.ones((5,5), np.uint8)  # note this is a horizontal kernel
d_im = cv2.dilate(mask, kernel, iterations=1)
e_im = cv2.erode(d_im, kernel, iterations=1)

cv2.imwrite('d.jpg', d_im)
cv2.imwrite('e.jpg', e_im)

图像依次为：应用蒙版的图像、膨胀蒙版的图像和腐蚀蒙版的图像。

如何使用Python和OpenCV实现良好的边缘检测来校准一些非常小的东西

How to use Python and OpenCV to achieve a well edge detection to calibrate some very small things

python

opencv

edge-detection