光流
来源:互联网 发布:营业部买卖数据 编辑:程序博客网 时间:2024/04/26 00:26
1:光流
光流是运动的物体或摄像头产生的两个连续帧之间的图像运动模型,是前一帧与后一帧之间点运动的2d位移向量。
该图显示了一个球的5个连续帧,箭头示出了位移矢量。
光流的领域中具有许多应用,如:
1,运动结构
2,视频压缩
3,视频稳定
……
光流的几个假设:
1,两个连续帧的像素强度不变
2,邻近的像素有类似的运动
考虑第一帧有一个像素I(x,y,t)[维度,事件因素],在dt时间内到了下一帧,位移了(dx,dy),所有的像素不变,强度也不变,我们就说:
等式右边取泰勒级数近似值,移除同类项,除以dt,等到等式:
设:
得到等式
(我们只是程序员,这样的专业数学转换,了解就好)
这就是光流等式。
从fx与fy是图像渐变梯度,ft是随时间变化的,但是(u,v)是未知的,我们无法搞定一个等式两个未知数,但有一些方法提供解决方案,比如:Lucas-Kanade
2:Lucas-Kanade 方法
按照之前的假设所有的像素都有相似的运动方式。Lucas-Kanade使用3X3点阵,这样就有了一样运动的9个点,取这9个点的(fx,fy,ft),这样问题就变成9个等式求两个变量了。较好的就是用最少的等式来解决。
下面是两个等式连个未知数的解决方案
(跟haari 焦点检测的逆矩阵相似,这表示角点事不错的跟踪点)
所以从用户的角度来看,想法很简单,从接受的光流矢量点,我们取一些点来跟踪。但是仍然有一些问题,我们解决的相似运动点,但这在大动作理是失效的。因此,要使用金字塔,金字塔使大动作变成小动作,成了相似运动的点。
3,在OpenCV 中的 Lucas-Kanade 光流
opencv 提供了cv2.calcOpticalFlowPyrLK(),可以创建一个应用来跟踪视频中的点。
cv2.goodFeaturesToTrack(),获取需要跟踪的点。通过第一帧取一些Shi-Tomasi 角点,然后用Lucas-Kanade迭代跟踪这些点。
cv2.calcOpticalFlowPyrLK(),需要传入前一帧,前一帧点集,下一帧,找到点集,否者为0.
import numpy as npimport cv2cap = cv2.VideoCapture('slow.flv')# params for ShiTomasi corner detectionfeature_params = dict( maxCorners = 100, qualityLevel = 0.3, minDistance = 7, blockSize = 7 )# Parameters for lucas kanade optical flowlk_params = dict( winSize = (15,15), maxLevel = 2, criteria = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))# Create some random colorscolor = np.random.randint(0,255,(100,3))# Take first frame and find corners in itret, old_frame = cap.read()old_gray = cv2.cvtColor(old_frame, cv2.COLOR_BGR2GRAY)p0 = cv2.goodFeaturesToTrack(old_gray, mask = None, **feature_params)# Create a mask image for drawing purposesmask = np.zeros_like(old_frame)while(1): ret,frame = cap.read() frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # calculate optical flow p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params) # Select good points good_new = p1[st==1] good_old = p0[st==1] # draw the tracks for i,(new,old) in enumerate(zip(good_new,good_old)): a,b = new.ravel() c,d = old.ravel() mask = cv2.line(mask, (a,b),(c,d), color[i].tolist(), 2) frame = cv2.circle(frame,(a,b),5,color[i].tolist(),-1) img = cv2.add(frame,mask) cv2.imshow('frame',img) k = cv2.waitKey(30) & 0xff if k == 27: break # Now update the previous frame and previous points old_gray = frame_gray.copy() p0 = good_new.reshape(-1,1,2)cv2.destroyAllWindows()cap.release()
代码没有矫正下一帧的关键点,所以图像上上找到的点都是近似的相近点。良好的跟踪中,角点是需要时间隔提取的。opencv提供一个间隔5帧的范例。
samples/python2/lk_track.py
上面的代码得到这样的图片:
4,opencv 中的密集光流
Lucas-Kanade 方法计算的流是稀疏的集(范例中使用Shi-Tomasi算法)。opencv 提供了另一种密集算法,计算了帧中的所有角点,Gunner Farneback算法,2003年论文“Two-Frame Motion Estimation Based on Polynomial Expansion”。
下面使用这种密集算法。
取得视频流中的两个通道的向量,这样就有了大小与方向。为了可分辨,添加了颜色。方向对应色调,大小对应数值板。
import cv2import numpy as npcap = cv2.VideoCapture("vtest.avi")ret, frame1 = cap.read()prvs = cv2.cvtColor(frame1,cv2.COLOR_BGR2GRAY)hsv = np.zeros_like(frame1)hsv[...,1] = 255while(1): ret, frame2 = cap.read() next = cv2.cvtColor(frame2,cv2.COLOR_BGR2GRAY) flow = cv2.calcOpticalFlowFarneback(prvs,next, None, 0.5, 3, 15, 3, 5, 1.2, 0) mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1]) hsv[...,0] = ang*180/np.pi/2 hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX) rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR) cv2.imshow('frame2',rgb) k = cv2.waitKey(30) & 0xff if k == 27: break elif k == ord('s'): cv2.imwrite('opticalfb.png',frame2) cv2.imwrite('opticalhsv.png',rgb) prvs = nextcap.release()cv2.destroyAllWindows()
opencv 有更多密集视频流的案例 ,查看 samples/python2/opt_flow.py
- 光流
- 光流
- 光流
- 光流
- 光流
- 光流(二)--光流算法
- opencv 稀疏光流 稠密光流
- 理解光流
- 光流分割法
- LK光流算法
- Opencv LK光流
- 光流的概念
- 光流跟踪总结
- 光流法学习
- KLT 光流
- 光流介绍
- Pixhawk 添加光流
- OpenCV 光流
- Parenthese sequence -模拟
- 堆内存杂记
- C++_note
- 常用排序算法
- Servlet机制原理1
- 光流
- 最简单的二分查找
- 遍历寻找给定两点之间的所有路径
- IntelliJ IDEA必须使用最新jdk问题解决
- JAVA运算符
- Android 国际化开发命名规范
- Leetcode-556. Next Greater Element III
- 希尔排序
- canvas径向渐变