手势识别项目总结

序言

此文章只是总结，没有任何技术干货。

正文

这个项目是要在unity中使用opencv识别各种手势，一路过来也算是坎坷。由于是在Unity中使用，所以我必须使用emgucv来进行识别。第一步要做的就是如何将手与背景分隔开，一开始我使用的是一个实时构建背景的算法，所谓实时构建背景，就是在基于背景差分法的基础上检测图片中有哪些像素的颜色总是不变，如果某个像素的颜色长时间不变化的话，就把这个像素自动归为背景，后来我发现这个算法对于静态背景的手势识别十分不适合，因为你的手很有可能只在一小片地方活动，这样一来，它也会把你的手当做背景，所以强烈不推荐，后来我把它改成了单纯的背景差分法。背景分离过后就容易了，先找出轮廓，找出轮廓最小长方形，再找出缺陷点，然后直接对这些缺陷点进行位置判断就ok了。期间有一个问题耗了我很长时间，就是opencv中的vector在emgucv中的对应类型是vectorofXX，例如vector<point> 在emgucv中就是vertorofpoint，更有意思的是还有类型叫做vectorofvectorofpoint。opencv中的vec4i的对应类型是Mat，对，你只能用mat类型代替，然后再把mat拷贝到matrix中，就能获取mat中的数据了。