如何提取 cheque/check 图片中的帐号

Question

我正在处理从 cheque images 中提取 account number 的任务。我目前的做法可以分为2个步骤

本地化帐号数字（印刷数字）
使用 Tesseract OCR

第二步很简单，假设我们已经正确本地化了帐号数字

我尝试使用 OpenCV 轮廓方法和 MSER（最大稳定极值区域）来定位帐号数字，但没有得到有用的结果。很难概括模式，因为

不同银行支票的模板有所不同
账号位置不固定

我们如何解决这个问题。我是否必须寻找一些基于 deep learning 的方法。

示例图片

Answer 1

假设帐号具有独特的紫色文本颜色，我们可以使用颜色阈值。这个想法是将图像转换为 HSV 颜色 space 然后定义一个 lower/upper 颜色范围并使用 cv2.inRange() 执行颜色阈值。从这里我们按轮廓区域过滤以去除小噪声。最后我们反转图像，因为我们想要黑色的文本和白色的背景。最后一步是在将图像放入 Pytesseract 之前对图像进行高斯模糊。结果如下：

Pytesseract 的结果

30002010108841

代码

import numpy as np
import pytesseract
import cv2

pytesseract.pytesseract.tesseract_cmd = r"C:\Program Files\Tesseract-OCR\tesseract.exe"

image = cv2.imread('1.png')
hsv = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)
lower = np.array([103,79,60])
upper = np.array([129,255,255])
mask = cv2.inRange(hsv, lower, upper)

cnts = cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
for c in cnts:
    area = cv2.contourArea(c)
    if area < 10:
        cv2.drawContours(mask, [c], -1, (0,0,0), -1)

mask = 255 - mask
mask = cv2.GaussianBlur(mask, (3,3), 0)

data = pytesseract.image_to_string(mask, lang='eng',config='--psm 6')
print(data)

cv2.imshow('mask', mask)
cv2.waitKey()

Answer 2

谢谢大家的建议，我最终训练了深度学习对象检测方法来定位帐号，与基于 OpenCV 的方法相比，它给出了非常好的结果

如何提取 cheque/check 图片中的帐号

How to extract account number in cheque/check images

python

ocr

opencv

image

image-processing