目标跟踪（2）——背景分割器

《OpenCV 3计算机视觉——Python语言实现（原书第2版）》
第八章目标跟踪
|______8.2背景分割器：KNN、MOG2、GMG
本节只是对书中代码进行详细解读

Opencv 提供了一个称为BackgroundSubtractor的类，在分割前景和背景时很方便。该类不仅执行背景分割，且可以通过机器学习的方法提高背景检测的效果，并提供将分类结果保存到文件的功能。
背景分割器主要包含 MOG2、KNN、GMG。

8.2背景分割器：KNN、MOG2、GMG

---

1.背景分割器-MOG2

利用背景分割器MOG2分割前景和背景，检测运动物体

#!/usr/bin/env python3#__*__coding=utf-8__*__"""利用背景分割器MOG2分割前景和背景，检测运动物体"""import numpy as npimport cv2cap = cv2.VideoCapture(0)mog = cv2.createBackgroundSubtractorMOG2()while(1):    ret,frame = cap.read()    fgmask = mog.apply(frame)    cv2.imshow('frame',fgmask)    if cv2.waitKey(100) & 0xff == ord("q"):        breakcap.release()cv2.destroyAllWindows()

2.背景分割器-KNN

#!/usr/bin/env python3#__*__coding=utf-8__*__import cv2import numpy as np#常见一个BackgroundSubtractorKNN接口bs = cv2.createBackgroundSubtractorKNN(detectShadows=True)camera = cv2.VideoCapture(0)while True:    ret,frame = camera.read()    #apply()函数计算了前景掩码    fgmask = bs.apply(frame)    #获得前景掩码（含有白色值以及阴影的灰色值），通过设定阈值将非白色（244~255）的所有像素都设为0，而不是1；    th = cv2.threshold(fgmask.copy(),244,255,cv2.THRESH_BINARY)[1]    dilated = cv2.dilate(th,cv2.getStructuringElement(cv2.MORPH_ELLIPSE,(3,3)),iterations =2)    #findContours函数参数说明cv2.RETR_EXTERNAL只检测外轮廓，cv2.CHAIN_APPROX_SIMPLE只存储水平，垂直，对角直线的起始点。    image,contours,hier = cv2.findContours(dilated,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)    for c in contours:        if cv2.contourArea(c) < 1500:            continue        (x,y,w,h) = cv2.boundingRect(c)        cv2.rectangle(frame,(x,y),(x+w,y+h),(0,255,0),2)    cv2.imshow("mog",fgmask)    cv2.imshow("thresh",th)    cv2.imshow("detection",frame)    if cv2.waitKey(100) & 0xff == ord("q"):        breakcamera.release()cv2.destroyAllWindows()

8.2.1均值漂移和CAMShift

均值漂移

均值漂移是一种目标跟踪算法，该算法寻找概率函数离散样本的最大密度，并且重新计算在下一帧中的最大密度，该算法给出了目标的移动方向。不但进行计算移动方向和距离，直到与原始中心匹配或者迭代后保持中心不变，即最后收敛。
参考博客Mean Shift 均值漂移聚类

#!/usr/bin/env python3#__*__coding=utf-8__*__"""均值漂移"""import cv2import numpy as npcap = cv2.VideoCapture(0)ret,frame = cap.read()#设置跟踪窗口大小r,h,c,w = 10,200,10,200track_window = (c,r,w,h)roi = frame[r:r+h, c:c+w]hsv_roi = cv2.cvtColor(frame,cv2.COLOR_BGR2HSV)#inRange函数用来设置下限和上限值mask = cv2.inRange(hsv_roi,np.array((100.,30.,32.)),np.array((180.,120.,255.)))roi_hist = cv2.calcHist([hsv_roi],[0],mask,[180],[0,180])cv2.normalize(roi_hist,roi_hist,0,255,cv2.NORM_MINMAX)term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT,10,1)while True:    ret,frame = cap.read()    if ret == True:        hsv = cv2.cvtColor(frame,cv2.COLOR_BGR2HSV)        dst = cv2.calcBackProject([hsv],[0],roi_hist,[0,180],1)        ret,track_window = cv2.meanShift(dst,track_window,term_crit)        x,y,w,h = track_window        img2 = cv2.rectangle(frame,(x,y),(x+w,y+h),255,2)        cv2.imshow('img2',img2)        if cv2.waitKey(100) & 0xff == ord("q"):            break    else:        breakcap.release()cv2.destroyAllWindows()

代码中有两个不太容易理解的函数：

calchist函数

calcBackProject函数

CAMShift

CAMShift 会根据具体的旋转来绘制标记矩阵框，这种旋转会被跟踪对象一起旋转。

#!/usr/bin/env python3#__*__coding=utf-8__*__"""均值漂移"""import cv2import numpy as npcap = cv2.VideoCapture(0)ret,frame = cap.read()#设置跟踪窗口大小r,h,c,w = 10,200,10,200track_window = (c,r,w,h)roi = frame[r:r+h, c:c+w]hsv_roi = cv2.cvtColor(frame,cv2.COLOR_BGR2HSV)#inRange函数用来设置下限和上限值mask = cv2.inRange(hsv_roi,np.array((100.,30.,32.)),np.array((180.,120.,255.)))roi_hist = cv2.calcHist([hsv_roi],[0],mask,[180],[0,180])cv2.normalize(roi_hist,roi_hist,0,255,cv2.NORM_MINMAX)term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT,10,1)while True:    ret,frame = cap.read()    if ret == True:        hsv = cv2.cvtColor(frame,cv2.COLOR_BGR2HSV)        dst = cv2.calcBackProject([hsv],[0],roi_hist,[0,180],1)        ###############均值漂移#########################        # ret,track_window = cv2.meanShift(dst,track_window,term_crit)        #        # x,y,w,h = track_window        # img2 = cv2.rectangle(frame,(x,y),(x+w,y+h),255,2)        ##################CAMShift############################        ret, track_window =cv2.CamShift(dst,track_window,term_crit)        pts = cv2.boxPoints(ret)        pts = np.int0(pts)        img2 = cv2.polylines(frame,[pts],True,255,2)        cv2.imshow('img2',img2)        if cv2.waitKey(100) & 0xff == ord("q"):            break    else:        breakcamera.release()cv2.destroyAllWindows()

与meanshift只有四行程序不同。

对运动物体的跟踪：
如果背景固定,可用帧差法 然后在计算下连通域，将面积小的去掉即可；
如果背景单一,即你要跟踪的物体颜色和背景色有较大区别，可用基于颜色的跟踪，如CAMShift 鲁棒性都是较好的；
如果背景复杂,如背景中有和前景一样的颜色，就需要用到一些具有预测性的算法 如卡尔曼滤波等 可以和 CAMShift 结合；

参考文档：
CAMShift的算法原理

camShift跟踪算法介绍