在Android Studio中实现OpenCV人脸检测
来源:互联网 发布:搞笑淘宝买家秀图聊天 编辑:程序博客网 时间:2024/05/17 04:56
【转自】http://www.jianshu.com/p/1fc91f9c9a67
实习期间,由于公司项目需求学习了OpenCV,主要实现人脸检测和人脸识别。因个人在C++和NDK方面的能力欠缺,所以考虑利用OpenCV Java API实现项目需求,虽然学习和研究过程中遇到了不少问题,但最终还是成功了。
OpenCV介绍
OpenCV,即开源计算机视觉库,主要用作图像处理,具体官方网站有详细介绍。
OpenCV环境搭建
1.下载SDK
OpenCV 3.3.0 Android SDK 下载地址:
https://sourceforge.net/projects/opencvlibrary/files/opencv-android/3.3.0/opencv-3.3.0-android-sdk.zip/download
2.项目配置
新建项目后,第一步,引入openCVLibrary330模块,并添加依赖。
若由于Android SDK Platform版本差异报错,则参考项目app下的build.gradle修改openCVLibrary330下的build.gradle。
第二步,新建jniLibs文件夹,添加OpenCV库对应的so文件,这里我只添加了armeabi-v7a。
第三步,创建人脸特征文件(xml)的raw资源文件夹,并添加特征文件。
注:以上文件在OpenCV 3.3.0 Android SDK包中的路径如下。
OpenCV库:OpenCV-android-sdk\sdk\javaso文件:OpenCV-android-sdk\sdk\native\libs人脸特征文件:OpenCV-android-sdk\sdk\etc\lbpcascades
人脸检测的实现
使用OpenCV实现人脸检测主要用到两个类:CascadeClassifier和CameraBridgeViewBase。
首先是CascadeClassifier(级联分类器),用于根据特征文件(xml)检测人脸,因此在检测前必须先初始化它,检测函数为detectMultiScale(),会在检测时使用。
// 初始化人脸级联分类器,必须先初始化private void initClassifier() { try { InputStream is = getResources().openRawResource(R.raw.lbpcascade_frontalface); File cascadeDir = getDir("cascade", Context.MODE_PRIVATE); File cascadeFile = new File(cascadeDir, "lbpcascade_frontalface.xml"); FileOutputStream os = new FileOutputStream(cascadeFile); byte[] buffer = new byte[4096]; int bytesRead; while ((bytesRead = is.read(buffer)) != -1) { os.write(buffer, 0, bytesRead); } is.close(); os.close(); classifier = new CascadeClassifier(cascadeFile.getAbsolutePath()); } catch(Exception e) { e.printStackTrace(); }}
这里重点说明一下onCameraFrame(CvCameraViewFrame inputFrame),通过参数inputFrame我们可以获取每一帧图像的灰度矩阵和彩色矩阵,并根据灰度矩阵利用CascadeClassifier的detectMultiScale()方法检测出人脸区域,再将检测结果标记到图像的彩色矩阵上,最终作为返回结果输出到屏幕上从而实现人脸检测。
@Override public void onCameraViewStarted(int width, int height) { mGray = new Mat(); mRgba = new Mat();}@Override public void onCameraViewStopped() { mGray.release(); mRgba.release();}@Override// 这里执行人脸检测的逻辑, 根据OpenCV提供的例子实现(face-detection) public Mat onCameraFrame(CameraBridgeViewBase.CvCameraViewFrame inputFrame) { mRgba = inputFrame.rgba(); mGray = inputFrame.gray(); // 翻转矩阵以适配前后置摄像头 if (isFrontCamera) { Core.flip(mRgba, mRgba, 1); Core.flip(mGray, mGray, 1); } else { Core.flip(mRgba, mRgba, -1); Core.flip(mGray, mGray, -1); } float mRelativeFaceSize = 0.2f; if (mAbsoluteFaceSize == 0) { int height = mGray.rows(); if (Math.round(height * mRelativeFaceSize) > 0) { mAbsoluteFaceSize = Math.round(height * mRelativeFaceSize); } } MatOfRect faces = new MatOfRect(); if (classifier != null) classifier.detectMultiScale(mGray, faces, 1.1, 2, 2, new Size(mAbsoluteFaceSize, mAbsoluteFaceSize), new Size()); Rect[] facesArray = faces.toArray(); Scalar faceRectColor = new Scalar(0, 255, 0, 255); for (Rect faceRect: facesArray) Imgproc.rectangle(mRgba, faceRect.tl(), faceRect.br(), faceRectColor, 3); return mRgba;}
最后说一下使用过程中的一些注意事项(坑):
1.使用OpenCV库之前,必须先加载对应的so文件,当然这样也是为了应用无需依赖OpenCV Manager。
// 手动装载openCV库文件,以保证手机无需安装OpenCV Managerstatic { System.loadLibrary("opencv_java3");}2.必须设置横屏,竖屏下无法检测,这个问题目前没有解决。
setRequestedOrientation(ActivityInfo.SCREEN_ORIENTATION_LANDSCAPE);
3.摄像机拍摄图像的镜像问题,利用Core.flip(Mat src, Mat dst, int flipCode)函数,src和dst参数是输入和输出矩阵,filpCode有三种情况,0为绕X轴翻转,大于的0代表绕Y轴翻转,-1代表既绕X轴也绕Y轴翻转。(参考:http://blog.csdn.net/wunghao8/article/details/38868281)
检测效果图
人脸匹配的实现
由于不是本文重点,只说一下我的实现原理:图像的灰度匹配,但这种匹配方法存在一定的错误率,效果不是太好。完整的人脸检测和匹配的项目FaceDetector在我的Github上也有,感兴趣的可以查看一下。
源码地址
https://github.com/typer9527/FaceDetectDemo
- 在Android Studio中实现OpenCV人脸检测
- android opencv 人脸检测实现
- opencv for android:如何在Android studio中成功运行opencv人脸识别的例子
- 【Android】OpenCV实现在Android下的人脸检测(NDK)--两篇论文
- OpenCV实现人脸检测
- OpenCV实现人脸检测
- OpenCV实现人脸检测
- opencv实现人脸检测
- OpenCV实现人脸检测
- OPENCV人脸检测实现
- openCV 人脸检测在 Android 中的应用
- 【android+opencv人脸检测】
- Opencv for Android 3.2 + Android Studio 3.0 + ndk-build 实时人脸检测
- android studio 使用 jni 编译 opencv 完整实例 之 图像边缘检测!从此在andrid中自由使用 图像匹配、识别、检测
- android studio 使用 jni 编译 opencv 完整实例 之 图像边缘检测!从此在andrid中自由使用 图像匹配、识别、检测
- 如何在Android Studio中使用LeakCanary检测内存泄露
- 题目:Visual Studio 2015在opencv 3.1.0下,使用OpenCV函数 HoughCircles 在一幅图像中检测圆
- 在 Android Studio 中使用OpenCV所遇到问题
- 方法定义中的具体事项
- 高精度模板
- java简单界面实现
- Day01
- 总结5(作业3)
- 在Android Studio中实现OpenCV人脸检测
- 排序算法学习经验(一)
- vector的实现【C++】
- Python学习笔记2—变量与运算符
- Python基础教程(5)条件、循环和其他语句
- 类、对象、接口
- ASP.NET状态管理之九(会话Session)
- 非零环绕原则
- Kubernetes1.7新特性:支持绕过docker,直接通过containerd管理容器