在 OpenCV 中设置 ROI

Question

我对 OpenCV 和 Python 还很陌生。我按照教程使用 yolov3-tiny 来使用 YOLO。它可以很好地检测车辆。但是我需要完成我的项目的是计算通过特定车道的车辆数量。如果我使用检测到车辆（出现边界框）的方法进行计数，计数会变得非常不准确，因为边界框会一直闪烁（意思是，它会再次定位同一辆车，有时会多达 5 次），所以这不是一个好的计数方式。

所以我想，如果我只计算一辆车到达某个点怎么样。我看过很多似乎可以做到这一点的代码，但是由于我是初学者，我真的很难理解，更不用说在我的系统中运行它了。他们的样本需要安装很多我不能做的东西，因为它会抛出错误。

请参阅下面的示例代码：

cap = cv2.VideoCapture('rtsp://username:password@xxx.xxx.xxx.xxx:xxx/cam/realmonitor?channel=1')
whT = 320
confThreshold = 0.75
nmsThreshold = 0.3
list_of_vehicles = ["bicycle","car","motorbike","bus","truck"]

classesFile = 'coco.names'
classNames = []
with open(classesFile, 'r') as f:
    classNames = f.read().rstrip('\n').split('\n')

modelConfiguration = 'yolov3-tiny.cfg'
modelWeights = 'yolov3-tiny.weights'

net = cv2.dnn.readNetFromDarknet(modelConfiguration, modelWeights)
net.setPreferableBackend(cv2.dnn.DNN_BACKEND_OPENCV)
net.setPreferableTarget(cv2.dnn.DNN_TARGET_CPU)
total_vehicle_count = 0

def getVehicleCount(boxes, class_name):
    global total_vehicle_count
    dict_vehicle_count = {}
    if(class_name in list_of_vehicles):
        total_vehicle_count += 1
#     print(total_vehicle_count)
    return total_vehicle_count, dict_vehicle_count

def findObjects(ouputs, img):
    hT, wT, cT = img.shape
    bbox = []
    classIds = []
    confs = []
    
    for output in outputs:
        for det in output:
            scores = det[5:]
            classId = np.argmax(scores)
            confidence = scores[classId]
            if confidence > confThreshold:
                w, h = int(det[2] * wT), int(det[3] * hT)
                x, y = int((det[0] * wT) - w/2), int((det[1] * hT) - h/2)
                bbox.append([x, y, w, h])
                classIds.append(classId)
                confs.append(float(confidence))
    indices = cv2.dnn.NMSBoxes(bbox, confs, confThreshold, nmsThreshold)
    
    for i in indices:
        i = i[0]
        box = bbox[i]
        getVehicleCount(bbox, classNames[classIds[i]])
        x, y, w, h = box[0], box[1], box[2], box[3]
        cv2.rectangle(img, (x,y), (x+w, y+h), (255,0,255), 1)
        cv2.putText(img, f'{classNames[classIds[i]].upper()} {int(confs[i]*100)}%', (x,y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (255,0,255), 2)
        
while True:
    success, img = cap.read()
    
    blob = cv2.dnn.blobFromImage(img, 1/255, (whT,whT), [0,0,0], 1, crop=False)
    net.setInput(blob)
    
    layerNames = net.getLayerNames()
    outputnames = [layerNames[i[0]-1] for i in net.getUnconnectedOutLayers()]
#     print(outputnames)

    outputs = net.forward(outputnames)
    findObjects(outputs, img)
    
    cv2.imshow('Image', img)
    
    if cv2.waitKey(1) & 0XFF == ord('q'):
        break
    
cap.release()
cv2.destroyAllWindows()

使用此代码，1 辆车有时会被计数为 50 次，具体取决于尺寸，这是非常不准确的。我如何创建 ROI，以便当检测到的车辆通过该点时，这将是唯一一次计算。

Answer 1

首先，我建议您考虑使用视觉跟踪器来跟踪每个检测到的矩形。即使您有一个 ROI 来裁剪图像接近您的计数 zone/line，这一点也很重要。这是因为即使 ROI 是本地化的，检测仍可能会闪烁几次，从而导致错误计数。如果另一辆车可以进入 ROI 而第一辆车仍在通过，则这一点尤其有效。

我建议使用广泛使用的 dlib 库提供的 easy-to-use 跟踪器。使用方法请参考example

您需要定义一条 ROI 线（在您的 ROI 内），而不是对 ROI 内的检测进行计数。然后，在每一帧中跟踪检测矩形中心。最后，在矩形中心通过 ROI 线后增加计数器。

关于如何计算通过ROI线的矩形：

Select 定义 ROI 线的两点。
用你的分数找到一般直线公式的参数ax + by + c = 0
对于每一帧，在公式中插入矩形中心坐标并跟踪结果的符号。
如果结果的符号发生变化，则表示矩形中心已经过线

在 OpenCV 中设置 ROI

Set an ROI in OpenCV

python

opencv

yolo