Hi3519V101色彩空间转换总结(一)

目录

前言

虽然只是做了点海思的应用层开发，但是对于各种颜色格式也有一定的了解。因为海思本身是YUV420sp格式的数据。在开发的过程中，要把YUV420sp的数据转换成rgb数据，当然也是要用到opencv。踩了很多坑，但最终成功的把YUV420sp的数据转换成了rgb数据。
学习！分享！感谢！

保存灰度图像

当从海思中使用HI_MPI_VI_GetFrame获取图像时，获取的是yuv420sp格式的图像。假设Y分量：宽Width，高Height。那么，UV分量就是(Width/2)*(Height/2)*2，所以所占的字节数就是3*Width*Height/2。YUV格式参见
图文详解YUV420数据格式

最开始不懂图像格式的时候，使用的3518e保存图像到opencv IplImage结构体中的代码，成功的保存了一张灰度图像。
- opencv中创建IplImage格式的方法：
这里需要用到两个函数cvCreateImageHeader和cvCreateImage。具体可以参见浅谈cvCreateImageHeader,cvCreateImage和cvCreateImageHeader导致内存不足的问题。
其中，需要注意的就是cvCreateImage创建了图像头并且为图像分配了数据。而如果我们有了图像数据，就只需要创建图像头cvCreateImageHeader，但是我们释放的注意要把图像头所占的内存释放掉，同时要把对应的图像数据所占内存释放掉，否则就会造成内存不足。
- 整理3518e保存图像到opencv IplImage结构体中9crk给的代码。
虽然代码量很少，但是这几句代码也是我切入openCV的起始。毕竟所有的图像处理都是要先获取到图像资源的，虽然现在仍然对图像处理的知识一窍不通。但是也算有图像有了点皮毛的了解，知识只能慢慢学，慢慢实践，否则理解不深刻，过段时间又忘记了！

• main.cpp

#define WIDTH 1920#define HEIGHT 1080int main(){    char data[WIDTH*HEIGHT];        int len;             // Y分量的数据大小    vi_getFrameInit();    IplImage *img = cvCreateImageHeader(cvSize(WIDTH, HEIGHT), IPL_DEPTH_8U, 1);        // IPL_DEPTH_8U表示8位无符号整数,也就是256色,1表示单通道    cvSetData(img, data, WIDTH);    len = vi_getYUV(data);    cvSaveImage("myImage.jpg", img);    cvReleaseImageHeader(&img);  // 注意：&}int vi_getFrameInit(){    HI_U32 u32Depth = 8;    VI_CHN ViChn = 0;    HI_S32 s32ret;    s32ret = HI_MPI_VI_SetFrameDepth(ViChn, u32Depth);}int vi_getYUV(char* yData){    HI_S32 s32ret;    VIDEO_FRAME_INFO_S stFrame;    HI_VOID* yPtr;    int len;    s32ret = HI_MPI_VI_GetFrame(ViChn, &stFrame);    if(s32ret != 0){        return 0;    }    // 获取视频帧的Y分量大小    len = stFrame.stVFrame.u32Width* stFrame.stVFrame.u32Height;    yPtr= HI_MPI_SYS_Mmap(stFrame.stVFrame.u32PhyAddr[0], len);    memcpy(yData, yPtr, len);   // 似乎无法直接对视频帧直接进行处理，只能把数据拷贝出来才能够进行处理，目前遇到似乎都是如此。    HI_MPI_SYS_Munmap(yPtr, len);            (void)HI_MPI_VI_ReleaseFrame(ViChn, &stFrame);    return len;}

保存彩色图像

上面的代码给出了通过opencv获取灰度图像的方法。但是，在实际的开发中，我们可能需要获得的是rgb格式的彩色图片，这时候我们就需要了解YUV420sp的格式。
对于YUV420sp格式有以下两种，海思中使用的是NV21。也就是在这个上面被坑了许久。

NV12: YYYYYYYY UVUV     =>YUV420SPNV21: YYYYYYYY VUVU     =>YUV420SP // 海思的视频格式应该是这种

之后，总算成功的获取了彩色图片。虽然效率很低，但是也成功的保存了一张彩色BMP图片。因为已经不做海思平台了，所以一下代码是我从程序中扣出来的，可能会有些错误。

int vi_getFrameInit(){    HI_U32 u32Depth = 8;    VI_CHN ViChn = 0;    HI_S32 s32ret;    s32ret = HI_MPI_VI_SetFrameDepth(ViChn, u32Depth);}int vi_getYUV(char* yData, char* uData, char* vData){    HI_S32 s32ret;    VIDEO_FRAME_INFO_S stFrame;    HI_VOID* yPtr;    HI_VOID* uPtr;    HI_VOID* vPtr;    int yLen;    int yuvLen;    int w, h;    s32ret = HI_MPI_VI_GetFrame(ViChn, &stFrame, 2);    if(s32ret != 0){        return 0;    }    // 获取视频帧的Y分量大小    yLen = stFrame.stVFrame.u32Height*stFrame.stVFrame.u32Stride[0];    yuvLen = stFrame.stVFrame.u32Height * stFrame.stVFrame.u32Stride[0] * 3/2;    yPtr = (HI_CHAR*)HI_MPI_SYS_Mmap(stFrame.stVFrame.u32PhyAddr[0], yuvLen);    uPtr = yPtr + (stFrame.stVFrame.u32Stride[0]) * (stFrame.stVFrame.u32Height);    vPtr = uPtr + (stFrame.stVFrame.u32Stride[0]/2) * (stFrame.stVFrame.u32Height/2);    /* 1.get frame's Y */    memcpy(yData, yPtr, yLen);      /* 2.get frame's UV */    for (h = 0; h < stFrame.stVFrame.u32Height/2; h++)    {        for (w = 0; w < stFrame.stVFrame.u32Width/2; w++)        {            *(vData+h*stFrame.stVFrame.u32Width/2 + w) = *(uPtr);            *(uData+h*stFrame.stVFrame.u32Width/2 + w) = *(uPtr+1);            uPtr += 2;        }    }    HI_MPI_SYS_Munmap(yPtr, yuvLen);            (void)HI_MPI_VI_ReleaseFrame(ViChn, &stFrame);    return yuvLen;}

功能说明：把NV21格式的数据转化成为了YUV平面格式。其中Y分量存储在yData中，U分量存储在uData中，V分量存储在vData中。其实这个拷贝的方法效率极低。但是在不懂的时候，却成功的转换出了彩色图片，所以还是挺有意义的。

---

上面的代码已经转化出了YUV平面格式的数据，但是我们要如何保存成rgb格式的数据呢？当然百度可以找到许多方法：公式法什么的，但是抱歉初入图像处理，也不知道那种方法好用，公式是否正确，但是经过测试，下面这种比较笨的方法我成功了。这里也记录下来，不过作为一个对图像格式有点了解的人，现在完全可以自己直接用公式法把YUV420SP格式的数据直接保存成rgb格式的数据。不过感觉目前来说，没有必要去测试那些公式，所以我把我原来老旧的方法分享一下。作为学习openCV来说也是不错的。其实我也是参考了这个贴吧中的方法：yuv格式转为IplImage保存为图片怎么感觉色彩有问题。

#define WIDTH 1920#define HEIGHT 1080int main(void){    char* y_data = new char[WIDTH*HEIGHT];    char* u_data = new char[WIDTH/2*HEIGHT/2];    char* v_data = new char[WIDTH/2*HEIGHT/2];      vi_getYUV(y_data, u_data, v_data);    IplImage *rgbimg = cvCreateImage(cvSize(WIDTH, HEIGHT), IPL_DEPTH_8U, 3);    IplImage *yimg = cvCreateImageHeader(cvSize(WIDTH, HEIGHT), IPL_DEPTH_8U, 1);    IplImage *uimg = cvCreateImageHeader(cvSize(WIDTH/2, HEIGHT/2), IPL_DEPTH_8U, 1);    IplImage *vimg = cvCreateImageHeader(cvSize(WIDTH/2, HEIGHT/2), IPL_DEPTH_8U, 1);    IplImage *uuimg = cvCreateImage(cvSize(WIDTH, HEIGHT), IPL_DEPTH_8U, 1);    IplImage *vvimg = cvCreateImage(cvSize(WIDTH, HEIGHT), IPL_DEPTH_8U, 1);    cvSetData(yimg, y_data, WIDTH);    cvSetData(uimg, u_data, WIDTH/2);    cvSetData(vimg, v_data, WIDTH/2);    cvResize(uimg, uuimg, CV_INTER_LINEAR);      cvMerge(yimg, uuimg, vvimg, NULL, rgbimg);    //可以重新设置rgb图像的大小    //IplImage *resizeRgbImg = cvCreateImage(cvSize(y_width/4, y_height/4), IPL_DEPTH_8U, 3);    //cvResize(rgbimg, resizeRgbImg, CV_INTER_LINEAR);    cvSaveImage("myImage.jpg", rgbimg);    cvReleaseImageHeader(&yimg);     cvReleaseImageHeader(&uimg);    cvReleaseImageHeader(&vimg);    cvReleaseImage(&rgbimg);    cvReleaseImage(&uuimg);      cvReleaseImage(&vvimg);      //cvReleaseImage(&resizeRgbImg);  }

当然这个方法是比较笨的时候使用的方法，其实在上面已经获取了YUV平面格式的数据，可以考虑直接使用cvCvtColor(yuvimage, rgbimg, CV_YCrCb2RGB);得到rgb格式的数据。当然，直接使用公式法应该是最简单的！
注意：上面的代码因为是手打的，所以可能会有错误！

总结

时间总是过得很快，所以成功也只是曾经的一瞬间，如果没有记录，以后用到也就不会有参考。其实，开发如果有些代码积累，然后照着代码去写，开发速度会很快。但是，如果没有记录，等于又要从头开始。所以，感觉要逐渐积累一些小例子，然后照着这些例子去写复杂代码就行。
学习！分享！感谢！

参考链接

OpenCV 中YUV420格式转换为IpImage格式