海思移植opencv+人脸检测+速度优化

文章为9crk大神发表在海思论坛，为了备忘，特转到自己博客。

地址：http://www.ebaina.com/bbs/thread-4858-1-1.html

1.确保ubuntu能上网

2.安装cmake
代码: 全选
sudo apt-get install cmake-gui

3.下载opencv2.4.9 Linux版源码，不要用最新的3.0.0
http://opencv.org/downloads.html

4.解压opencv源码
代码: 全选
unzip opencv-2.4.9.zip

5.创建一个build目录用于编译和一个output目录
用于存放编译完成后的海思平台的opencv：
代码: 全选
xlab@xlab-dev:~/zhouhua/opencv/opencv-2.4.9$ ls
3rdparty        LICENSE    apps   data  include    modules    samples
CMakeLists.txt  README.md  cmake  doc   index.rst  platforms
xlab@xlab-dev:~/zhouhua/opencv/opencv-2.4.9$ cd ..    
xlab@xlab-dev:~/zhouhua/opencv$ ls
build  opencv-2.4.9  opencv-2.4.9.zip  output
xlab@xlab-dev:~/zhouhua/opencv$ mkdir build
xlab@xlab-dev:~/zhouhua/opencv$ mkdir output

6.执行cmake-gui
代码: 全选
xlab@xlab-dev:~/zhouhua/opencv/opencv-2.4.9$ cmake-gui

点击Browse Source选择~/zhouhua/opencv/opencv-2.4.9
点击Browse Build选择~/zhouhua/opencv/build
然后点击Configure

此时出现的对话框选择最后一项：Specify options for cross-compiling
下一步
Operating System填写 arm-hisiv100nptl-linux
C填写arm-hisiv100nptl-linux-gcc
C++填写arm-hisiv100nptl-linux-g++

下一步，然后等待Configuration done
然后在出现的列表中修改CMAKE_INSTALL_PREFIX为~/zhouhua/opencv/output
然后点击Generate
等待Generation done
即可关闭cmake软件。

7.进入build目录执行make
代码: 全选
xlab@xlab-dev:~/zhouhua/opencv/build$ make

提示出错：
代码: 全选
../../lib/libopencv_core.so: undefined reference to `pthread_once'
../../lib/libopencv_core.so: undefined reference to `pthread_spin_lock'
../../lib/libopencv_core.so: undefined reference to `pthread_spin_unlock'
../../lib/libopencv_core.so: undefined reference to `pthread_spin_init'
../../lib/libopencv_core.so: undefined reference to `pthread_spin_trylock'
../../lib/libopencv_core.so: undefined reference to `pthread_spin_destroy'

修改CMakeCache.txt大约200行处
//Flags used by the linker.
CMAKE_EXE_LINKER_FLAGS:STRING= -lpthread -lrt
继续make
可能出现如下错误
代码: 全选
CMake Error at /home/xlab/zhouhua/opencv/opencv-2.4.9/cmake/cl2cpp.cmake:50 (string):
  string does not recognize sub-command MD5


make[2]: *** [modules/ocl/opencl_kernels.cpp] Error 1
make[1]: *** [modules/ocl/CMakeFiles/opencv_ocl.dir/all] Error 2
make: *** [all] Error 2

删除/home/xlab/zhouhua/opencv/opencv-2.4.9/cmake/cl2cpp.cmake的第50行的内容即可。
继续make
完成后执行make install
代码: 全选
xlab@xlab-dev:~/zhouhua/opencv/output$ ls
LICENSE  bin  include  lib  share


8.得到了include和lib目录就可以编写程序了，来试试最常用的人脸检测吧
编写如下代码
代码: 全选
/***********Author:9crk 2014-12-24*****************************/
#include "cv.h"
#include "highgui.h"
#include "stdio.h"
/******************for time mesurement*************************/
#include <sys/time.h>
struct timeval tpstart,tpend;
unsigned long timeuses;
void timeRec()
{
    gettimeofday(&tpstart,0);
}
int timeRep()
{
    gettimeofday(&tpend,0);
    timeuses=(tpend.tv_sec-tpstart.tv_sec)*1000000+tpend.tv_usec-tpstart.tv_usec;
    printf("use time: %uus\n",timeuses);
    return timeuses;
}
/********************end**************************************/

int main(int argc, char* argv[])
{
   IplImage* img = NULL;
   IplImage* cutImg = NULL;
   CvMemStorage* storage = cvCreateMemStorage(0);
   CvHaarClassifierCascade* cascade = (CvHaarClassifierCascade*)cvLoad("./haarcascade_frontalface_alt2.xml", 0, 0, 0);
   CvSeq* faces; 
      
    img = cvLoadImage(argv[1], 0);
   timeRec();
    faces = cvHaarDetectObjects(img, cascade,  storage, 1.2, 2, 0, cvSize(25,25) );
    timeRep();
    if (faces->total == 0){
        printf("no face!\n");
    }
    cvSetImageROI(img, *((CvRect*)cvGetSeqElem( faces, 0))); 
    cvSaveImage("face.bmp", img);    
    cvResetImageROI(img);
    printf("face detected! in face.bmp!\n");
}

为了方便，直接将库和头文件拷贝到编译器的目录下去
代码: 全选
xlab@xlab-dev:~/zhouhua/opencv/mytest$ sudo cp ../output/lib/* /opt/hisi-linux-nptl/arm-hisiv100-linux/arm-hisiv100-linux-uclibcgnueabi/lib/
xlab@xlab-dev:~/zhouhua/opencv/mytest$sudo cp ../output/include/* /opt/hisi-linux-nptl/arm-hisiv100-linux/arm-hisiv100-linux-uclibcgnueabi/include/ -r

然后编译：（由于版本比较高，用了opencv2的头文件，因此需要额外增加一个-I参数指定头文件目录）
代码: 全选
arm-hisiv100nptl-linux-g++ face.cpp -I/home/xlab/zhouhua/opencv/output/include/opencv -lopencv_highgui -lopencv_core -lopencv_imgproc -lpthread -lrt -lopencv_objdetect -o face

会提示一些warning，不用管。
编译成功，然后拷贝人脸分类器文件过来。
代码: 全选
xlab@xlab-dev:~/zhouhua/opencv/mytest$ cp ../output/share/OpenCV/haarcascades/haarcascade_frontalface_alt2.xml ./

再找个图片过来，我这里就用lena.jpg了。
然后nfs挂到开发板
到开发板端做软连接库到/lib目录下
代码: 全选
ln -s /mnt/nfs/zhouhua/opencv/output/lib/libopencv_imgproc.so /lib/libopencv_imgproc.so
ln -s /mnt/nfs/zhouhua/opencv/output/lib/libopencv_objdetect.so /lib/libopencv_objdetect.so
ln -s /mnt/nfs/zhouhua/opencv/output/lib/libopencv_highgui.so /lib/libopencv_highgui.so
ln -s /mnt/nfs/zhouhua/opencv/output/lib/libopencv_core.so /lib/libopencv_core.so

然后到face所在的nfs目录去执行即可：
# ./face lena.jpg 
use time: 31532724us
face detected! in face.bmp!
由于参数没有优化，用了31秒才找到lena的脸。。
 

9.速度优化
先修改一下图片长、宽为之前的1/4试试
# ./face lena.jpg 
smallImg w=128 h=128
use time: 1179871us
face detected! in face.bmp!
这次用了1.1秒

再修改检测参数
faces = cvHaarDetectObjects(smallImg, cascade,  storage, 1.5, 4, 0, cvSize(25,25) );
# ./face lena.jpg 
smallImg w=128 h=128
use time: 578169us
face detected! in face.bmp!
这次用了578ms，检测出来的人脸大小是44x44的。

一般的应用应该够了，注意，此测试是在nfs下，如果拷贝到板子，速度会更快，当然，修改参数后的漏检率还需要测试。

下面贴出最后的代码（ps:之前的代码没有释放内存）

/***********Author:9crk 2014-12-24*****************************/
#include "cv.h"
#include "highgui.h"
#include "stdio.h"
/******************for time mesurement*************************/
#include <sys/time.h>
struct timeval tpstart,tpend;
unsigned long timeuses;
void timeRec()
{
    gettimeofday(&tpstart,0);
}
int timeRep()
{
    gettimeofday(&tpend,0);
    timeuses=(tpend.tv_sec-tpstart.tv_sec)*1000000+tpend.tv_usec-tpstart.tv_usec;
    printf("use time: %uus\n",timeuses);
    return timeuses;
}
/********************end**************************************/
int main(int argc, char* argv[])
{
   IplImage* img = NULL;
   IplImage* cutImg = NULL;

   CvMemStorage* storage = cvCreateMemStorage(0);
   CvHaarClassifierCascade* cascade = (CvHaarClassifierCascade*)cvLoad("./haarcascade_frontalface_alt2.xml", 0, 0, 0);
   CvSeq* faces; 
    //加载图像
    img = cvLoadImage(argv[1], 0);
    //缩放到1/4大小
    IplImage *smallImg = cvCreateImage(cvSize(img->width/4, img->height/4), 8, img->nChannels);
    printf("smallImg w=%d h=%d\n", smallImg->width, smallImg->height);
    cvResize(img, smallImg);
    //检测并计时
    timeRec();
    faces = cvHaarDetectObjects(smallImg, cascade,  storage, 1.5, 4, 0, cvSize(25,25) );
    timeRep();
   
    if (faces->total == 0){
        printf("no face!\n");
    }
    //切取出头像
    cvSetImageROI(smallImg, *((CvRect*)cvGetSeqElem( faces, 0))); 
    cvSaveImage("face.bmp", smallImg);    
    cvResetImageROI(smallImg);
    //释放内存
    cvReleaseImage(&img);
    cvReleaseImage(&smallImg);
    printf("face detected! in face.bmp!\n");
}