使用 DipLib (PyDIP) 测量两条线之间的距离
Measuring the distance between two lines using DipLib (PyDIP)
我目前正在研究一种使用定量图像分析来确定塑料细丝直径的测量系统。下面是原始图像和处理后的二进制图像，使用 DipLib（PyDIP 变体）这样做。
问题
好的，我个人认为这看起来很棒。下一个问题是我正在尝试计算二进制图像中灯丝的顶部边缘和底部边缘之间的距离。这使用 OpenCV 非常简单，但是由于 DipLib 的 PyDIP 变体的功能有限，我遇到了很多麻烦。
可能的解决方案
从逻辑上讲，我认为我可以向下扫描像素列并查找像素从 0 变为 255 的第一行，反之亦然查找底部边缘。然后我可以采用这些值，以某种方式创建一条最佳拟合线，然后计算它们之间的距离。不幸的是，我正在努力解决这个问题的第一部分。我希望有经验的人可以帮助我。
背景故事
我正在使用 DipLib，因为 OpenCV 非常适合检测，但不适合量化。我见过其他示例，例如这个 here，它使用测量函数从类似设置中获取直径。
我的代码：
import diplib as dip
import math
import cv2
# import image as opencv object
img = cv2.imread('img.jpg')
# convert the image to grayscale using opencv (1D tensor)
img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# convert image to diplib object
dip_img = dip.Image(img_gray)
# set pixel size
dip_img.SetPixelSize(dip.PixelSize(dip.PixelSize(0.042*dip.Units("mm"))))
# threshold the image
dip_img = dip.Gauss(dip_img)
dip_img = ~dip.Threshold(dip_img)[0]
Cris Luengo 的问题
第一个，在这一行：
# binarize
mask = dip.Threshold(edges)[0] '
你怎么知道输出图像包含在索引 [0] 中，因为 PyDIP 上的文档很少我想知道如果我自己做的话我可能在哪里弄清楚了。我可能只是没有找对地方。我意识到我这样做是在我原来的 post 中，但我肯定只是在一些示例代码中发现了这一点。
这些行中的第二个：
normal1 = np.array(msr[1]['GreyMajorAxes'])[0:2] # first axis is perpendicular to edge
normal2 = np.array(msr[2]['GreyMajorAxes'])[0:2]
据我了解，您正在寻找两条线的主轴，它们只是特征向量。我在这里的经验非常有限——我是一名本科工程专业的学生，所以我从抽象意义上理解特征向量，但我仍在学习它们的用途。我不太明白的是 msr[1]['GreyMajorAxes'])[0:2] 行只有 returns 两个值，这只会定义一个点。如果它只是一个点，这如何定义一条垂直于检测到的线的线？第一个点引用是 (0,0) 还是图像的中心或其他什么？此外，如果您有任何相关资源可以阅读有关在图像处理中使用特征值的信息，我很乐意深入了解。谢谢！
第三
正如您设置的那样，如果我理解正确，mask[0] 包含顶行，mask[1] 包含底行。因此，如果我想考虑灯丝的弯曲，我可以采用这两个矩阵并为每个正确的矩阵获得最佳拟合线？目前我只是简单地减少了我的捕捉区域，主要是消除了担心任何弯曲的需要，但这不是一个完美的解决方案 - 特别是如果灯丝下垂很多并且弯曲是不可避免的。让我知道您的想法，再次感谢您的宝贵时间。
下面是如何使用 np.diff() 方法找到像素从 0 变为 255 的第一行的索引，反之亦然找到底部边缘 （ cv2 只是在那里读取图像并对其进行阈值处理，您已经使用 diplib):
完成了
import cv2
import numpy as np
img = cv2.imread("img.jpg")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
_, thresh = cv2.threshold(gray, 127, 255, cv2.THRESH_BINARY)
x1, x2 = 0, img.shape[1] - 1
diff1, diff2 = np.diff(thresh[:, [x1, x2]].T, 1)
y1_1, y2_1 = np.where(diff1)[0][:2]
y1_2, y2_2 = np.where(diff2)[0][:2]
cv2.line(img, (x1, y1_1), (x2, y1_2), 0, 10)
cv2.line(img, (x1, y2_1), (x2, y2_2), 0, 10)
cv2.imshow("Image", img)
cv2.waitKey(0)
输出：
注意上面定义的变量，y1_1、y1_2、y2_1 和 y2_2。使用它们，你可以得到灯丝两端的直径：
print(y1_2 - y1_1)
print(y2_2 - y2_1)
输出：
100
105
我认为测量灯丝两个边缘之间距离的最精确方法是：
- 使用高斯梯度幅度检测两条边缘，
- 确定两条边的重心，即每条边上的一个点，
- 确定两条边的夹角，
- 使用三角函数求出两条边之间的距离。
这假设两条边完全笔直且平行，但事实似乎并非如此。
使用 DIPlib，您可以这样做：
import diplib as dip
import numpy as np
import matplotlib.pyplot as pp
# load
img = dip.ImageRead('wDnU6.jpg')
img = img(1) # use green channel
img.SetPixelSize(0.042, "mm")
# find edges
edges = dip.GradientMagnitude(img)
# binarize
mask = dip.Threshold(edges)[0]
mask = dip.Dilation(mask, 9) # we want the mask to include the "tails" of the Gaussian
mask = dip.AreaOpening(mask, filterSize=1000) # remove small regions
# measure the two edges
mask = dip.Label(mask)
msr = dip.MeasurementTool.Measure(mask, edges, ['Gravity','GreyMajorAxes'])
# msr[n] is the measurements for object with ID n, if we have two objects, n can be 1 or 2.
# get distance between edges
center1 = np.array(msr[1]['Gravity'])
center2 = np.array(msr[2]['Gravity'])
normal1 = np.array(msr[1]['GreyMajorAxes'])[0:2] # first axis is perpendicular to edge
normal2 = np.array(msr[2]['GreyMajorAxes'])[0:2]
normal = (normal1 + normal2) / 2 # we average the two normals, assuming the edges are parallel
distance = abs((center1 - center2) @ normal)
units = msr['Gravity'].Values()[0].units
print("Distance between lines:", distance, units)
这输出：
Distance between lines: 21.491425398007312 mm
您可以显示两条边：
mmpp = img.PixelSize()[0].magnitude
center1 = center1 / mmpp # position in pixels
center2 = center2 / mmpp
L = 1000
v = L * np.array([normal[1], -normal[0]])
img.Show()
pt1 = center1 - v
pt2 = center1 + v
pp.plot([pt1[0], pt2[0]], [pt1[1], pt2[1]])
pt1 = center2 - v
pt2 = center2 + v
pp.plot([pt1[0], pt2[0]], [pt1[1], pt2[1]])
另一种方法使用距离变换，它为每个对象像素分配到最近的背景像素的距离。因为细丝大致水平，所以很容易将每个图像列的最大值用作沿细丝的一个点的宽度的一半。这种测量有点嘈杂，因为它计算像素之间的距离，并使用二值化图像。但是我们可以平均每个图像列的宽度以获得更精确的测量，尽管它可能有偏差（估计值可能小于真实值）：
mask = dip.Threshold(img)[0]
dt = dip.EuclideanDistanceTransform(mask, border='object')
width = 2 * np.amax(dt, axis=0)
width = width[100:-100] # close to the image edges the distance could be off
print("Distance between lines:", np.mean(width), img.PixelSize()[0].units)
这输出：
Distance between lines: 21.393684 mm
如果您怀疑灯丝的宽度不均匀，您还可以计算局部平均宽度：
width_smooth = dip.Gauss(width, 100)
然后您可以绘制估计宽度以查看您的估计：
pp.plot(width)
pp.plot(width_smooth)
pp.show()
其他问题的答案
How do you know that the output image is contained at index [0], since there is little documentation on PyDIP [...]
的确，文档太少了，我们当然可以在这方面得到一些帮助！大多数函数都是从 C++ 函数简单翻译而来的，因此 C++ 文档提供了合适的信息。但是有些函数，例如 dip.Threshold()，与 C++ 有一点偏差；在这种情况下，输出在元组中提供阈值图像和选定的阈值。 运行 out = dip.Threshold(edges) in Python 然后检查 out 变量，您可以看到它是一个元组，其中图像作为第一个值，浮点数作为第二个值。您需要猜测 the C++ documentation. The source code 中的两个值的含义，这将是找出答案的最佳位置，但这对用户来说一点都不友好。
As I understand you are finding the principle axes of the two lines, which are just the eigenvectors. [...] What I'm not quite understanding is that the line msr[1]['GreyMajorAxes'])[0:2] only returns two values, which would only define a single point. How does this define a line normal to the detected line, if it is only a single point? [...]
二维向量由两个数字定义，向量从原点到这两个数字给定的点。 msr[1]['GreyMajorAxes'])给出四个值（在2D中），前两个是inertia tensor的最大特征向量，后两个是最小特征向量。在这种情况下，最大的特征向量对应于法线。
As you have set this up, if I am understanding correctly, mask[0] contains the top line and mask[1] contains the bottom line.
否，mask是有标签的图像，其中值为0的像素是背景，值为1的像素是第一个对象（在本例中为边缘），值为0的像素2 是第二个对象。所以 mask==1 将给出一个二值图像，其中包含所选第一条边的像素。但是 mask 不是细线，相当宽。这个想法是在 edge 中覆盖高斯分布的整个宽度，这是图像的梯度幅度。我上面所做的计算都是基于这个高斯分布，提供了比处理二值图像或单个像素集所得到的结果更精确的结果。
Therefore, if I were to want to account for the bend in the filament, I could take those two matrices and get a best fit line for each correct?
您可以做的一件事是找到 edge 中每列最大值的子像素位置，在 mask==1 像素内（例如，通过将高斯拟合到每列中的值).这将为您提供一组可以拟合曲线的点。这会涉及更多代码，但我认为并不难。
我目前正在研究一种使用定量图像分析来确定塑料细丝直径的测量系统。下面是原始图像和处理后的二进制图像，使用 DipLib（PyDIP 变体）这样做。
问题
好的，我个人认为这看起来很棒。下一个问题是我正在尝试计算二进制图像中灯丝的顶部边缘和底部边缘之间的距离。这使用 OpenCV 非常简单，但是由于 DipLib 的 PyDIP 变体的功能有限，我遇到了很多麻烦。
可能的解决方案
从逻辑上讲，我认为我可以向下扫描像素列并查找像素从 0 变为 255 的第一行，反之亦然查找底部边缘。然后我可以采用这些值，以某种方式创建一条最佳拟合线，然后计算它们之间的距离。不幸的是，我正在努力解决这个问题的第一部分。我希望有经验的人可以帮助我。
背景故事
我正在使用 DipLib，因为 OpenCV 非常适合检测，但不适合量化。我见过其他示例，例如这个 here，它使用测量函数从类似设置中获取直径。
我的代码：
import diplib as dip
import math
import cv2
# import image as opencv object
img = cv2.imread('img.jpg')
# convert the image to grayscale using opencv (1D tensor)
img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# convert image to diplib object
dip_img = dip.Image(img_gray)
# set pixel size
dip_img.SetPixelSize(dip.PixelSize(dip.PixelSize(0.042*dip.Units("mm"))))
# threshold the image
dip_img = dip.Gauss(dip_img)
dip_img = ~dip.Threshold(dip_img)[0]
Cris Luengo 的问题
第一个，在这一行：
# binarize
mask = dip.Threshold(edges)[0] '
你怎么知道输出图像包含在索引 [0] 中，因为 PyDIP 上的文档很少我想知道如果我自己做的话我可能在哪里弄清楚了。我可能只是没有找对地方。我意识到我这样做是在我原来的 post 中，但我肯定只是在一些示例代码中发现了这一点。
这些行中的第二个：
normal1 = np.array(msr[1]['GreyMajorAxes'])[0:2] # first axis is perpendicular to edge
normal2 = np.array(msr[2]['GreyMajorAxes'])[0:2]
据我了解，您正在寻找两条线的主轴，它们只是特征向量。我在这里的经验非常有限——我是一名本科工程专业的学生，所以我从抽象意义上理解特征向量，但我仍在学习它们的用途。我不太明白的是 msr[1]['GreyMajorAxes'])[0:2] 行只有 returns 两个值，这只会定义一个点。如果它只是一个点，这如何定义一条垂直于检测到的线的线？第一个点引用是 (0,0) 还是图像的中心或其他什么？此外，如果您有任何相关资源可以阅读有关在图像处理中使用特征值的信息，我很乐意深入了解。谢谢！
第三
正如您设置的那样，如果我理解正确，mask[0] 包含顶行，mask[1] 包含底行。因此，如果我想考虑灯丝的弯曲，我可以采用这两个矩阵并为每个正确的矩阵获得最佳拟合线？目前我只是简单地减少了我的捕捉区域，主要是消除了担心任何弯曲的需要，但这不是一个完美的解决方案 - 特别是如果灯丝下垂很多并且弯曲是不可避免的。让我知道您的想法，再次感谢您的宝贵时间。
下面是如何使用 np.diff() 方法找到像素从 0 变为 255 的第一行的索引，反之亦然找到底部边缘 （ cv2 只是在那里读取图像并对其进行阈值处理，您已经使用 diplib):
import cv2
import numpy as np
img = cv2.imread("img.jpg")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
_, thresh = cv2.threshold(gray, 127, 255, cv2.THRESH_BINARY)
x1, x2 = 0, img.shape[1] - 1
diff1, diff2 = np.diff(thresh[:, [x1, x2]].T, 1)
y1_1, y2_1 = np.where(diff1)[0][:2]
y1_2, y2_2 = np.where(diff2)[0][:2]
cv2.line(img, (x1, y1_1), (x2, y1_2), 0, 10)
cv2.line(img, (x1, y2_1), (x2, y2_2), 0, 10)
cv2.imshow("Image", img)
cv2.waitKey(0)
输出：
注意上面定义的变量，y1_1、y1_2、y2_1 和 y2_2。使用它们，你可以得到灯丝两端的直径：
print(y1_2 - y1_1)
print(y2_2 - y2_1)
输出：
100
105
我认为测量灯丝两个边缘之间距离的最精确方法是：
- 使用高斯梯度幅度检测两条边缘，
- 确定两条边的重心，即每条边上的一个点，
- 确定两条边的夹角，
- 使用三角函数求出两条边之间的距离。
这假设两条边完全笔直且平行，但事实似乎并非如此。
使用 DIPlib，您可以这样做：
import diplib as dip
import numpy as np
import matplotlib.pyplot as pp
# load
img = dip.ImageRead('wDnU6.jpg')
img = img(1) # use green channel
img.SetPixelSize(0.042, "mm")
# find edges
edges = dip.GradientMagnitude(img)
# binarize
mask = dip.Threshold(edges)[0]
mask = dip.Dilation(mask, 9) # we want the mask to include the "tails" of the Gaussian
mask = dip.AreaOpening(mask, filterSize=1000) # remove small regions
# measure the two edges
mask = dip.Label(mask)
msr = dip.MeasurementTool.Measure(mask, edges, ['Gravity','GreyMajorAxes'])
# msr[n] is the measurements for object with ID n, if we have two objects, n can be 1 or 2.
# get distance between edges
center1 = np.array(msr[1]['Gravity'])
center2 = np.array(msr[2]['Gravity'])
normal1 = np.array(msr[1]['GreyMajorAxes'])[0:2] # first axis is perpendicular to edge
normal2 = np.array(msr[2]['GreyMajorAxes'])[0:2]
normal = (normal1 + normal2) / 2 # we average the two normals, assuming the edges are parallel
distance = abs((center1 - center2) @ normal)
units = msr['Gravity'].Values()[0].units
print("Distance between lines:", distance, units)
这输出：
Distance between lines: 21.491425398007312 mm
您可以显示两条边：
mmpp = img.PixelSize()[0].magnitude
center1 = center1 / mmpp # position in pixels
center2 = center2 / mmpp
L = 1000
v = L * np.array([normal[1], -normal[0]])
img.Show()
pt1 = center1 - v
pt2 = center1 + v
pp.plot([pt1[0], pt2[0]], [pt1[1], pt2[1]])
pt1 = center2 - v
pt2 = center2 + v
pp.plot([pt1[0], pt2[0]], [pt1[1], pt2[1]])
另一种方法使用距离变换，它为每个对象像素分配到最近的背景像素的距离。因为细丝大致水平，所以很容易将每个图像列的最大值用作沿细丝的一个点的宽度的一半。这种测量有点嘈杂，因为它计算像素之间的距离，并使用二值化图像。但是我们可以平均每个图像列的宽度以获得更精确的测量，尽管它可能有偏差（估计值可能小于真实值）：
mask = dip.Threshold(img)[0]
dt = dip.EuclideanDistanceTransform(mask, border='object')
width = 2 * np.amax(dt, axis=0)
width = width[100:-100] # close to the image edges the distance could be off
print("Distance between lines:", np.mean(width), img.PixelSize()[0].units)
这输出：
Distance between lines: 21.393684 mm
如果您怀疑灯丝的宽度不均匀，您还可以计算局部平均宽度：
width_smooth = dip.Gauss(width, 100)
然后您可以绘制估计宽度以查看您的估计：
pp.plot(width)
pp.plot(width_smooth)
pp.show()
其他问题的答案
How do you know that the output image is contained at index [0], since there is little documentation on PyDIP [...]
的确，文档太少了，我们当然可以在这方面得到一些帮助！大多数函数都是从 C++ 函数简单翻译而来的，因此 C++ 文档提供了合适的信息。但是有些函数，例如 dip.Threshold()，与 C++ 有一点偏差；在这种情况下，输出在元组中提供阈值图像和选定的阈值。 运行 out = dip.Threshold(edges) in Python 然后检查 out 变量，您可以看到它是一个元组，其中图像作为第一个值，浮点数作为第二个值。您需要猜测 the C++ documentation. The source code 中的两个值的含义，这将是找出答案的最佳位置，但这对用户来说一点都不友好。
As I understand you are finding the principle axes of the two lines, which are just the eigenvectors. [...] What I'm not quite understanding is that the line
msr[1]['GreyMajorAxes'])[0:2]only returns two values, which would only define a single point. How does this define a line normal to the detected line, if it is only a single point? [...]
二维向量由两个数字定义，向量从原点到这两个数字给定的点。 msr[1]['GreyMajorAxes'])给出四个值（在2D中），前两个是inertia tensor的最大特征向量，后两个是最小特征向量。在这种情况下，最大的特征向量对应于法线。
As you have set this up, if I am understanding correctly, mask[0] contains the top line and mask[1] contains the bottom line.
否，mask是有标签的图像，其中值为0的像素是背景，值为1的像素是第一个对象（在本例中为边缘），值为0的像素2 是第二个对象。所以 mask==1 将给出一个二值图像，其中包含所选第一条边的像素。但是 mask 不是细线，相当宽。这个想法是在 edge 中覆盖高斯分布的整个宽度，这是图像的梯度幅度。我上面所做的计算都是基于这个高斯分布，提供了比处理二值图像或单个像素集所得到的结果更精确的结果。
Therefore, if I were to want to account for the bend in the filament, I could take those two matrices and get a best fit line for each correct?
您可以做的一件事是找到 edge 中每列最大值的子像素位置，在 mask==1 像素内（例如，通过将高斯拟合到每列中的值).这将为您提供一组可以拟合曲线的点。这会涉及更多代码，但我认为并不难。