从图像中删除 OCR 词 (OpenCV,Python)

Question

所以，从我可以开始的..

我正在使用 OCR。该脚本非常适合我的需要。它检测单词的准确性对我来说还可以。

这是结果：100% 准确度附上图片。

from PIL import Image
import pyocr.builders
import os

os.putenv("TESSDATA_PREFIX", "C:\Program Files (x86)\Tesseract-OCR")

tools = pyocr.get_available_tools()
tool = tools[0]
langs = tool.get_available_languages()
lang = langs[0] #eng

file = "test.png"

txt = tool.image_to_string(Image.open(file), lang=lang, builder=pyocr.builders.TextBuilder())
print(txt + '\n')

'''
word = ['SHINE','ON','YOU','CRAZY','DIAMOND','SYD']

if word[2] in txt:
    print("## WORD IN LIST ##")
else:
    print("## NOT IN LIST ##")'''

现在的问题是：如何从图像中删除输出 OCR 列表中存在的单词（在名为 txt 的代码中）？我的意思是，如果单词 SHINE 作为输出存在于控制台（和列表）中，我如何在图像中删除它？或者，如果不删除，请创建一个遮罩以便我可以隐藏它...

我认为 ocr 的工作原理是选择文本区域并在文本周围创建边界框。在这种情况下，如何删除（甚至显示）这个 ROI/bounding 框？在 pyocr 文档中有一些关于此功能（显示边界框）的提示，但我不知道如何使用它。

任何 help/hint 不胜感激。

谢谢

编辑：这段代码显示了每个字符的边界框

import csv
import cv2
from pytesseract import pytesseract as pt

pt.run_tesseract('test.png', 'output', lang=None, boxes=True, config="hocr")

# To read the coordinates
boxes = []
with open('output.box', 'rt') as f:
    reader = csv.reader(f, delimiter = ' ')
    for row in reader:
        if len(row) == 6:
            boxes.append(row)

# Draw the bounding box
img = cv2.imread('test.png')
h, w, _ = img.shape
for b in boxes:
    img = cv2.rectangle(img,(int(b[1]),h-int(b[2])),(int(b[3]),h-int(b[4])),(255,0,0),2)

cv2.imshow('output', img)
cv2.waitKey(0)

如何让它只显示第一个（整个）单词？

Answer 1

这是一个简单的方法

将图像转换为灰度
大津的门槛
扩张以连接轮廓
查找轮廓并提取每个单词的 ROI
执行 OCR 并删除单词

转换成灰度后，我们Otsu的阈值得到二值图像

接下来我们反转图像并膨胀以形成每个单词的单个轮廓

从这里我们找到轮廓并提取每个单词的 ROI。这是检测到的 ROI

我们将每个 ROI 放入 Pytesseract OCR 中。如果OCR结果是我们要删除的词，我们只需"delete"这个词通过用白色填充ROI并在原始图像中替换它

与

words_to_remove = ['on', 'you', 'crazy']

结果是

与

类似

words_to_remove = ['on', 'you', 'shine', 'diamond']

结果是

终于有了

words_to_remove = ['on', 'you', 'crazy', 'diamond']

import cv2
import pytesseract

words_to_remove = ['on', 'you', 'crazy', 'diamond']
pytesseract.pytesseract.tesseract_cmd = r"C:\Program Files\Tesseract-OCR\tesseract.exe"

image = cv2.imread("1.png")
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)[1]
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5,5))
inverted_thresh = 255 - thresh
dilate = cv2.dilate(inverted_thresh, kernel, iterations=4)

cnts = cv2.findContours(dilate, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
for c in cnts:
    x,y,w,h = cv2.boundingRect(c)
    ROI = thresh[y:y+h, x:x+w]
    data = pytesseract.image_to_string(ROI, lang='eng',config='--psm 6').lower()
    if data in words_to_remove:
        image[y:y+h, x:x+w] = [255,255,255]

cv2.imshow("thresh", thresh)
cv2.imshow("dilate", dilate)
cv2.imshow("image", image)
cv2.waitKey(0)

从图像中删除 OCR 词 (OpenCV,Python)

Delete OCR word from Image (OpenCV,Python)

python

ocr

opencv

tesseract

bounding-box