openCV中IplImage的使用

开始做人脸检测的移植工作了，前段时间完成了opencv的1.0版的源代码包在montavista的工具链下的编译，经过交叉编译成功的将facedetect例程在DM6446的ARM上跑通了。但这个程序里的IplImage是通过cvLoadImage一jpg图片得到的，而我的程序里是利用v4l2驱动从摄像头读到的UYVY格式的数据，因此想自己来创建这个IplImage的结构体。

IplImage是openCV库中很重要的一个结构体，库中的图像都是保存为这个结构体后再进行操作的。下面先转载一篇将这个结构体的文章http://www.sciencenet.cn/m/user_content.aspx?id=251363

IplImage 结构解读：

typedef struct _IplImage
{
int nSize;                    
/* IplImage大小 */
int ID;                         
/* 版本 (=0)*/
int nChannels;           
/* 大多数OPENCV函数支持1,2,3 或 4 个通道 */
int alphaChannel; 
/* 被OpenCV忽略 */
int depth; 
/* 像素的位深度: IPL_DEPTH_8U, IPL_DEPTH_8S, IPL_DEPTH_16U,
IPL_DEPTH_16S, IPL_DEPTH_32S, IPL_DEPTH_32F and IPL_DEPTH_64F 可支持 */
char colorModel[4]; 
/* 被OpenCV忽略 */
char channelSeq[4]; 
/* 同上 */
int dataOrder; 
/* 0 - 交叉存取颜色通道, 1 - 分开的颜色通道.
cvCreateImage只能创建交叉存取图像 */
int origin; 
/* 0 - 顶—左结构,1 - 底—左结构 (Windows bitmaps 风格) */
int align; 
/* 图像行排列 (4 or 8). OpenCV 忽略它，使用 widthStep 代替 */
int width; 
/* 图像宽像素数 */
int height;
/* 图像高像素数*/
struct _IplROI *roi;
/* 图像感兴趣区域. 当该值非空只对该区域进行处理 */
struct _IplImage *maskROI; 
/* 在 OpenCV中必须置NULL */
void *imageId; 
/* 同上*/
struct _IplTileInfo *tileInfo; 
/*同上*/
int imageSize; 
/* 图像数据大小(在交叉存取格式下imageSize=image->height*image->widthStep），单位字节*/
char *imageData; 
/* 指向排列的图像数据 */
int widthStep; 
/* 排列的图像行大小，以字节为单位 */
int BorderMode[4]; 
/* 边际结束模式, 被OpenCV忽略 */
int BorderConst[4]; 
/* 同上 */
char *imageDataOrigin; 
/* 指针指向一个不同的图像数据结构（不是必须排列的），是为了纠正图像内存分配准备的 */
}
IplImage;

重要结构元素说明：

depth和nChannels

depth代表颜色深度，使用的是以下定义的宏,nChannels是通道数，为1,2,3或4。
depth的宏定义：
IPL_DEPTH_8U,无符号8bit整数(8u)
IPL_DEPTH_8S,有符号8bit整数(8s)
IPL_DEPTH_16S,有符号16bit整数(16s)
IPL_DEPTH_32S,有符号32bit整数(32s)
IPL_DEPTH_32F,32bit浮点数，单精度(32f)

IPL_DEPTH_64F,64bit浮点数，双精度(64f)

（注：这里的颜色深度是指单个通道的数据保存为的变量类型，例如RGB24格式的数据，通道数为3，颜色深度为IPL_DEPTH_8U）

origin和dataOrder

origin变量可以有两个取值：IPL_ORIGIN_TL或者IPL_ORIGIN_BL,分别代表图像坐标系原点在左上角或是左下角。相应的，在计算机视觉领域，一个重要的错误来源就是原点位置的定义不统一。例如，图像的来源不同，操作系统不同，视频解码codec不同，存储方式不同等等，都可以造成原点位置的变化。例如，你可能认为你正在从图像上面的脸部附近取样，但实际上你却在图像下方的裙子附近取样。最初时，就应该检查一下你的系统中图像的原点位置，这可以通过在图像上方画个形状等方式实现。
dataOrder的取值可以是IPL_DATA_ORDER_PIXEL或者IPL_DATA_ORDER_PLANE,这个成员变量定义了多通道图像数据存储时颜色数据的排列方式，如果是IPL_DATA_ORDER_PIXEL,通道颜色数据排列将会是BGRBGR...的交错排列，如果是IPL_DATA_ORDER_PLANE，则每个通道的颜色值在一起，有几个通道，就有几个“颜色平面”。大多数情况下，通道颜色数据的排列是交错的。
widthStep与CvMat中的step类似，是以字节数计算的图像的宽度。成员变量imageData则保存了指向图像数据区首地址的指针。
最后还有一个重要参数roi(region of interest 感兴趣的区域),这个参数是IplROI结构体类型的变量。IplROI结构体包含了xOffset,yOffset,height,width,coi成员变量，其中xOffset,yOffset是x,y坐标，coi代表channel of interest(感兴趣的通道)。有时候，OpenCV图像函数不是作用于整个图像，而是作用于图像的某一个部分。这是，我们就可以使用roi成员变量了。如果IplImage变量中设置了roi，则OpenCV函数就会使用该roi变量。如果coi被设置成非零值，则对该图像的操作就只作用于被coi指定的通道上了。不幸的是，许多OpenCV函数忽略了coi的值。

访问图像中的数据

就象访问矩阵中元素一样，我们希望用最直接的办法访问图像中的数据，例如，如果我们有一个三通道HSV图像（HSV色彩属性模式是根据色彩的三个基本属性：色相H、饱和度S和明度V来确定颜色的一种方法）,我们要将每个点的饱和度和明度设置成255，则我们可以使用指针来遍历图像，请对比一下，与矩阵的遍历有何不同：
void sat_sv( IplImage* img ) {

for( int y=0; y<height; y++ ) {
    uchar* ptr = (uchar*) (
      img->imageData + y * img->widthStep 
    );
    for( int x=0; x<width; x++ ) {
      ptr[3*x+1] = 255;
      ptr[3*x+2] = 255;
    }
}
}
注意一下，3*x+1,3*x+2的方法，因为每一个点都有三个通道，所以这样设置。另外imageData成员的类型是uchar*，即字节指针类型，所以与CvMat的data指针类型(union)不同，而不需要象CvMat那样麻烦（还记得step/4,step/8的那种情形吗）。

roi和widthStep

roi和widthStep在实际工作中有很重要的作用，在很多情况下，使用它们会提高计算机视觉代码的执行速度。这是因为它们允许对图像的某一小部分进行操作，而不是对整个图像进行运算。在OpenCV中，所有的对图像操作的函数都支持roi,如果你想打开roi,可以使用函数cvSetImageROI(),并给函数传递一个矩形子窗口。而cvResetImageROI()是用于关闭roi的。
void cvSetImageROI(IplImage* image,CvRect rect);
void cvResetImageROI(IplImage* image);
注意，在程序中，一旦使用了roi做完相应的运算，就一定要用cvResetImageROI()来关闭roi,否则，其他操作执行时还会使用roi的定义。

上面这篇文章对IplImage的结构分析的非常清楚。

###############################################################################

于是我最初使用的方法是利用cvCreateImage新建一个IplImage，之后一个个的对结构体的成员进行赋值。

其他的成员的赋值都没有问题，而对于char *imageData; 的赋值却遇到了问题。

我把自己在程序里把从摄像头读取的UYVY数据转换为R=G=B=Y的3通道RGB24的数据，并保存在自己calloc的空间中，最后把这个空间的指针赋给imageData这个变量。在程序运行的时候问题来了，出现“alignment trap......bus error”的错误，内存对齐出问题了。

之前遇到过自己定义的结构体，由于内存对齐的问题而出现编译器在结构体中插入空字段而使sizeof（）的值变化的问题。于是，第一反应去查看IplImage这个结构体是否是对齐的，结果发现这个结构体的每个变量都是4字节的，非常完美的对齐。

不是结构体的问题，于是我想到给imageData这个指针赋值的问题，因为我是把自己calloc的一个空间的指针赋给它的，如果calloc的这个起始地址不是4字节的整数倍，这样imageData就会出现内存对齐的问题了。

于是，把赋值操作删除，改为将calloc后空间中的数据memcpy到imageData经过cvCreateImage初始化后指向的空间。结果证明，这里就是问题所在，修改之后一切正常了。

###################################################################################

后记：上面#号内的说法有问题。解决办法是对的，但原因不对。出现“alignment trap......bus error”的错误，并不是单纯因为IplImage的使用有问题，应该和我之前-mabi指定错误，以及在程序中#progma pack(2)这句话也有关系。因为在解决了abi了，就没有这个问题了。

经过多次试验，发现IplImage的使用有3种方式可以选择。

（1）iplImage = cvCreateImageHeader(cvSize(width,heigth),IPL_DEPTH_8U,1);

cvSetData(iplImage,pGrayBuffer,width*1);//第3个参数是行字节数

cvReleaseImageheader(&iplImage);

free(pGrayBuffer);//pGrayBuffer是程序里用来放灰度数据的空间，由calloc分配

（2）iplImage = cvCreateImage(cvSize(width,heigth),IPL_DEPTH_8U,1);

iplImage->imageData=pGrayBuffer;

iplImage->imageDataOrigin=pGrayBuffer;

cvReleaseImageheader(&iplImage);

free(pGrayBuffer);

(3)iplImage = cvCreateImage(cvSize(width,heigth),IPL_DEPTH_8U,1);

memcpy(iplImage->imageData,pGrayBuffer,iplImage->imageSize);

cvReleaseImage(&iplImage);

free(pGrayBuffer);

结论:这3种方式都正确，但推荐用第（1）种。总之，记住一点，如果imageData指向的空间是由cvCreateImage初始化的，那么用cvReleaseImage来释放；如果imageData指向的空间是后来用户指定的，那么用vReleaseImageheader(&iplImage);释放，并由用户自行释放分配的空间。

其实（1）cvSetData所做的事情和（2）中两句指针赋值类似。

如果分配和释放没搭配好，比如自行分配空间搭配上cvReleaseImage(&iplImage);就会出现“OpenCV ERROR: Unknown error code -49 (Deallocation error)”这类错误。

另外，补充一下，“利用cvCreateImage新建一个IplImage，之后一个个的对结构体的成员进行赋值”是非常多余的，cvCreateImage就已经根据参数中的宽度，高度，通道数，颜色深度等信息对结构体的各个成员初始化了，不需要再手动的去赋值。这里要提一下char *imageDataOrigin; 这个变量的说明是指针指向一个不同的图像数据结构（不是必须排列的），是为了纠正图像内存分配准备的，实际上初始化后的imageDataOrigin和imageData指向的是同一个地址。既然初始化成这样，我也没去改变它，没有产生什么影响。opencv论坛上sunlighta大侠的解释是：“预留数据接口吧！上面有这么一句话：IplImage结构来自于 Intel Image Processing Library（是其本身所具有的）。OpenCV 只支持其中的一个子集。”

注：linux下的内存对齐默认是4字节，可以通过以下语句进行修改：

#progma pack(n)