Python使用背景差分器实现运动物体检测

前言

目前，许多运动检测技术都是基于简单的背景差分概念的，即假设摄像头（视频）的曝光和场景中的光照条件是稳定的，当摄像头捕捉到新的帧时，我们可以从参考图像中减去该帧，并取这个差的绝对值，以获得帧中每个像素位置的运动测量值。如果帧的任何区域与参考图像有很大的不同，我们就认为给定区域中是一个运动物体。

本文主要简单介绍基本背景差分器，详细介绍mog背景差分器，knn背景差分器。

一、基本背景差分器

首先，基本背景差分器可以很好地实现运动物体的检测，代码实现参考此链接

其特点是：此脚本不会动态更新背景图像，即当一个运动的物体静止后，此脚本仍然会标记此物体，除非此物体消失在窗口中，甚至当摄像头运动或者光线变化时，此脚本会直接标记整个窗口直到程序结束。

如果我们希望脚本能够动态的更新背景模型，即当运动物体静止后，静止物体会被纳入背景，标记会逐渐消失，这时，我们就可以采用更灵活、更智能的背景差分器（如mog背景差分器、knn背景差分器）。

二、mog背景差分器

opencv提供了一个名为 cv2.backgroundsubtractor 的类，它有实现各种背景差分算法的子类。

对于mog背景差分器，opencv有两种实现，分别命名为：cv2.backgroundsubtractormog 和 cv2.backgroundsubtractormog2，后者是最新改进的实现，增加了对阴影检测的支持，我们将使用它。

流程

1.导入opencv，初始化mog背景差分器，定义erode（腐蚀）、dilate（膨胀）运算的核大小

import cv2
 
bg_subtractor = cv2.createbackgroundsubtractormog2(detectshadows=true)
 
erode_kernel = cv2.getstructuringelement(cv2.morph_ellipse, (3, 3))
dilate_kernel = cv2.getstructuringelement(cv2.morph_ellipse, (7, 7))

初始化函数中接收一个参数detectshadows，将其设置为true，就会标记出阴影区域，而不会标记为前景的一部分。

使用腐蚀与膨胀的形态学操作是为了抑制一些细微的振动频率。

2.捕捉摄像头帧，并使用mog差分器获得背景掩膜

cap = cv2.videocapture(0)
success, frame = cap.read()
while success:
 
    fg_mask = bg_subtractor.apply(frame)

当我们把每一帧传递给背景差分器的 apply 方法时，差分器就会更新它的内部背景模型，然后返回一个掩膜。

其中，前景部分的掩膜是白色（255），阴影部分的掩膜是灰色（127），背景部分的掩膜是黑色（0）

3.然后对掩膜应用阈值来获得纯黑白图像，并通过形态学运算对阈值化图像进行平滑处理。

    _, thresh = cv2.threshold(fg_mask, 244, 255, cv2.thresh_binary)
    cv2.erode(thresh, erode_kernel, thresh, iterations=2)
    cv2.dilate(thresh, dilate_kernel, thresh, iterations=2)

（本示例中，我们开启了阴影检测，但我们仍然想把阴影认为是背景，所以对掩膜应用一个接近白色（244）的阈值）

4.现在，如果我们直接查看阈值化后的图像，会发现运动物体呈现白色斑点，我们想找到白色斑点的轮廓，并在其周围绘制轮廓。其中，我们将应用一个基于轮廓面积的阈值，如果轮廓太小，就认为它不是真正的运动物体（或者不使用此阈值），检测轮廓与绘制边框的代码：

    contours, hier = cv2.findcontours(thresh, cv2.retr_external,
                                          cv2.chain_approx_simple)
 
    for c in contours:
        if cv2.contourarea(c) > 1000:
            x, y, w, h = cv2.boundingrect(c)
            cv2.rectangle(frame, (x, y), (x+w, y+h), (255, 255, 0), 2)

5.显示掩膜图像/阈值化图像/检测结果图像，继续读取帧，直到按下esc退出。

    cv2.imshow('mog', fg_mask)
    cv2.imshow('thresh', thresh)
    cv2.imshow('detection', frame)
 
    k = cv2.waitkey(30)
    if k == 27:  # escape
        break
 
    success, frame = cap.read()

代码编写

import cv2
 
opencv_major_version = int(cv2.__version__.split('.')[0])
 
bg_subtractor = cv2.createbackgroundsubtractormog2(detectshadows=true)
 
erode_kernel = cv2.getstructuringelement(cv2.morph_ellipse, (3, 3))
dilate_kernel = cv2.getstructuringelement(cv2.morph_ellipse, (7, 7))
 
cap = cv2.videocapture(0)
success, frame = cap.read()
while success:
 
    fg_mask = bg_subtractor.apply(frame)
 
    _, thresh = cv2.threshold(fg_mask, 244, 255, cv2.thresh_binary)
    cv2.erode(thresh, erode_kernel, thresh, iterations=2)
    cv2.dilate(thresh, dilate_kernel, thresh, iterations=2)
 
    if opencv_major_version >= 4:
        # opencv 4 or a later version is being used.
        contours, hier = cv2.findcontours(thresh, cv2.retr_external,
                                          cv2.chain_approx_simple)
    else:
        # opencv 3 or an earlier version is being used.
        # cv2.findcontours has an extra return value.
        # the extra return value is the thresholded image, which is
        # unchanged, so we can ignore it.
        _, contours, hier = cv2.findcontours(thresh, cv2.retr_external,
                                             cv2.chain_approx_simple)
 
    for c in contours:
        if cv2.contourarea(c) > 1000:
            x, y, w, h = cv2.boundingrect(c)
            cv2.rectangle(frame, (x, y), (x+w, y+h), (255, 255, 0), 2)
 
 
    cv2.imshow('mog', fg_mask)
    cv2.imshow('thresh', thresh)
    cv2.imshow('detection', frame)
 
    k = cv2.waitkey(30)
    if k == 27:  # escape
        break
 
    success, frame = cap.read()
 
cap.release()
cv2.destroyallwindows()

注意：当我们启用阴影检测时，我们可以通过一个阈值来移除掩膜上的阴影和反射部分，从而使得检测能够准确地框选到实际运动物体（本示例）。如果我们禁用阴影检测，那么倒影或者反射部分可能都会被框选，从而影响检测真正运动物体的准确性。

三、knn背景差分器

通过修改mog背景差分脚本的很一小部分代码，即可使用不同的背景差分算法以及不同的形态学参数。

1.用cv2.createbackgroundsubtractorknn替换cv2.createbackgroundsubtractormog2，就可以使用基于knn聚类（而不是mog聚类）的背景差分器：

bg_subtractor = cv2.createbackgroundsubtractorknn(detectshadows=true)

（注意：knn背景差分器仍然支持detectshadows参数与apply方法）

修改完成之后，就可以使用knn背景差分器了，可见修改量非常少。

2.当然，此处我们可以使用稍微好点的适应于水平细长物体的形态学核（本例中检测的是运动的汽车，视频地址（github,可下载）：traffic.flv），并使用此视频作为输入

erode_kernel = cv2.getstructuringelement(cv2.morph_ellipse, (7, 5))
dilate_kernel = cv2.getstructuringelement(cv2.morph_ellipse, (17, 11))
 
cap = cv2.videocapture('e:/traffic.flv')

3.最后一个小细节，我们将掩膜窗口标题从“mog”更改为“knn”

    cv2.imshow('knn', fg_mask)

到此这篇关于python使用背景差分器实现运动物体检测的文章就介绍到这了,更多相关python运动物体检测内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！