YUV格式分析详解

YUV格式分析详解

一,YUV含义

     YUV格式通常有两大类：打包（packed）格式和平面（planar）格式。前者将YUV分量存放在同一个数组中，通常是几个相邻的像素组成一个宏像素（macro-pixel）；而后者使用三个数组分开存放YUV三个分量，就像是一个三维平面一样。

  在摄像头之类编程经常是会碰到YUV格式,而非大家比较熟悉的RGB格式. 我们可以把YUV看成是一个RGB的变种来理解.

     如果只有Y信号分量而没有U、V分量，那么这样表示的图像就是黑白灰度图像。因此用YUV格式由彩色转黑白信号相当简单. 在技术文档里，YUV经常有另外的名字, YCbCr ,其中Y与YUV 中的Y含义一致，Cb , Cr 同样都指色彩,，只是在表示方法上不同而已，Cb Cr 就是本来理论上的“分量/色差”的标识。C代表分量(是component的缩写)Cr、Cb分别对应r(红)、b(蓝)分量信号，Y除了g(绿)分量信号，还叠加了亮度信号。

     YUV的原理是把亮度与色度分离，研究证明,人眼对亮度的敏感超过色度。利用这个原理，可以把色度信息减少一点，人眼也无法查觉这一点。YUV三个字母中，其中"Y"表示明亮度（Lumina nce或Luma），也就是灰阶值；而"U"和"V"表示的则是色度（Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。用这个三个字母好象就是通道命令。
 

使用YUV的优点有两个:
1,彩色YUV图像转黑白YUV图像转换非常简单，这一特性用在于电视信号上。
2,YUV是数据总尺寸小于RGB格式


二 几大类YUV格式解析

•  4:4:4 表示色度频道没有下采样。
•  4:2:2 表示 2:1 的水平下采样，没有垂直下采样。对于每两个 U 样例或 V 样例，每个扫描行都包含四个 Y 样例。
•  4:2:0 表示 2:1 的水平下采样，2:1 的垂直下采样。
•  4:1:1 表示 4:1 的水平下采样，没有垂直下采样。对于每个 U 样例或 V 样例，每个扫描行都包含四个 Y 样例。与其他格式相比，4:1:1 采样不太常用，本文不对其进行详细讨论。


采样样例:

图片中使用的采样网格。灯光样例用叉来表示，色度样例则用圈表示。

图 1 显示了 4:4:4 图片中使用的采样网格。

图 1. YUV 4:4:4 样例位置


4:2:2 采样的这种主要形式在 ITU-R Recommendation BT.601 中进行了定义。图 2 显示了此标准定义的采样网格。

图 2. YUV 4:2:2 样例位置



4:2:0 采样有两种常见的变化形式。其中一种形式用于 MPEG-2 视频，另一种形式用于 MPEG-1 以及 ITU-T recommendations H.261 和 H.263。图 3 显示了 MPEG-1 方案中使用的采样网格，图 4 显示了 MPEG-2 方案中使用的采样网格。

图 3. YUV 4:2:0 样例位置（MPEG-1 方案）



图 4. YUV 4:2:0 样例位置（MPEG-2 方案）






首先，您应该理解下列概念，这样才能理解接下来的内容：
•  表面原点。对于本文讲述的 YUV 格式，原点 (0,0) 总是位于表面的左上角。
•  跨距。表面的跨距，有时也称为间距，指的是表面的宽度，以字节数表示。对于一个表面原点位于左上角的表面来说，跨距总是正数。
•  对齐。表面的对齐是根据图形显示驱动程序的不同而定的。表面始终应该 DWORD 对齐，就是说，表面中的各个行肯定都是从 32 位 (DWORD) 边界开始的。对齐可以大于 32 位，但具体取决于硬件的需求。
•  打包格式与平面格式。YUV 格式可以分为打包 格式和平面 格式。在打包格式中，Y、U 和 V 组件存储在一个数组中。像素被组织到了一些巨像素组中，巨像素组的布局取决于格式。在平面格式中，Y、U 和 V 组件作为三个单独的平面进行存储。

YUV码流的存储格式其实与其采样的方式密切相关，主流的采样方式有三种， YUV4:4:4，YUV4:2:2 ，YUV4:2:0，关于其详细原理，可以通过网上其它文章了解，这里我想强调的是如何根据其采样格式来从码流中还原每个像素点的 YUV值，因为只有正确地还原了每个像素点的 YUV值，才能通过 YUV与 RGB的转换公式提取出每个像素点的 RGB值，然后显示出来。

    用三个图来直观地表示采集的方式吧， 以黑点表示采样该像素点的 Y分量，以空心圆圈表示采用该像素点的 UV分量。

  先记住下面这段话，以后提取每个像素的 YUV分量会用到。

1. YUV 4:4:4 采样，每一个 Y对应一组UV分量。
2. YUV 4:2:2 采样，每两个 Y共用一组UV分量。  
3. YUV 4:2:0 采样，每四个 Y共用一组UV分量。  

三,YUV格式与RGB格式的换算

RGB取值范围均为0~255,Y=0~255,U=-122~+122,V=-157~+157
以下是经过简化的公式,运算量比上述公式要小一些。

RGB转YUV
Y = 0.299R + 0.587G + 0.114B
U'= (BY)*0.565
V'= (RY)*0.713

YUV转RGB
R = Y + 1.403V'
G = Y - 0.344U' - 0.714V'
B = Y + 1.770U'



四.YUV的存储格式---Packed(打包) / planar(平面)
 
    RGB格式中，一个24bpp像素要占用4字节空间。在YUV格式中,可以对于UV分量的数据压缩,但是对图像整体质量影响不大，这样YUV所占的空间就比RGB要小一些.不过RGB中 16bpp的 565格式每一个点只占2个字节，从这一点看也没有省多少。不过视频应用都是清一色的YUV应用。因此YUV的处理还是一个比较重要课题。

   YUV的存储中与RGB格式最大不同在于，RGB格式每个点的数据是连继保存在一起的。即R，G，B是前后不间隔的保存在2-4byte空间中。而YUV的数据中为了节约空间，U，V分量空间会减小。每一个点的Y分量独立保存，但连续几个点的U，V分量是保存在一起的.这几个点合起来称为macro-pixel， 这种存储格式称为Packed(打包)格式。
  另外一种存储格式是把一幅图像中Y，U，V分别用三个独立的数组表示。这种模式称为planar(平面)模式。此模式中,YUV文件中YUV420又是怎么存储的呢? 在常见H264测试的YUV序列中,例如CIF图像大小的YUV序列(352*288),在文件开始并没有文件头,直接就是YUV数据,先存第一帧的Y信息,长度为352*288个byte, 然后是第一帧U信息长度是352*288/4个byte, 最后是第一帧的V信息,长度是352*288/4个byte, 因此可以算出第一帧数据总长度是352*288*1.5,即152064个byte, 如果这个序列是300帧的话, 那么序列总长度即为152064*300=44550KB,这也就是为什么常见的300帧CIF序列总是44M的原因.

YUV420 Planar :




    YUV有packed format和planar format两种。Packed format和planner format的区别在于，packed  format中的YUV是混合在一起的，因此就有了UYVY、YUYV等等，他们在码流中排列的方式有所不同。而对于planner format每一个Y分量，U分量和V分量都是以独立的平面组织的，也就是说所有的U分量都在Y分量之后出现，而V分量在所有的U分量之后。就像三个大色块一样。如下:

下面我用图的形式给出常见的 YUV码流的存储方式 ，并在存储方式后面附有取样每个像素点的 YUV数据的方法，其中 ，Cb、 Cr的含义等同于 U、 V。

（1 ） YUVY 格式 （属于YUV422）

YUYV为YUV422 采样的存储格式中的一种，相邻的两个 Y共用其相邻的两个 Cb、 Cr，分析，对于像素点 Y'00、 Y'01 而言，其 Cb、 Cr的值均为 Cb00、 Cr00，其他的像素点的 YUV取值依次类推。

（2） UYVY 格式 （属于 YUV422）

UYVY格式也是YUV422 采样的存储格式中的一种 ，只不过与YUYV不同的是 UV的排列顺序不一样而已，还原其每个像素点的 YUV值的方法与上面一样。

（3） YUV422P（属于YUV422）

YUV422P也属于YUV422 的一种，它是一种 Plane模式，即平面模式，并不是将 YUV数据交错存储，而是先存放所有的 Y分量，然后存储所有的 U（ Cb）分量，最后存储所有的 V（ Cr）分量，如上图所示。其每一个像素点的 YUV值提取方法也是遵循 YUV422格式的最基本提取方法，即两个 Y共用一个 UV。比如，对于像素点 Y'00、 Y'01 而言，其 Cb、 Cr的值均为 Cb00、 Cr00。

（4） YV12，YU12 格式（属于 YUV420）

YU12和 YV12属于YUV420 格式，也是一种 Plane模式，将 Y、 U、 V分量分别打包，依次存储。其每一个像素点的 YUV数据提取遵循 YUV420格式的提取方式，即4个 Y分量共用一组 UV。注意，上图中， Y'00、 Y'01、 Y'10、 Y'11共用 Cr00、 Cb00，其他依次类推。

(5）NV12、NV21（属于YUV420）

   NV12和NV21属于YUV420格式，是一种two-plane模式，即Y和UV分为两个Plane，但是UV（CbCr）为交错存储，而不是分为三个plane。其提取方式与上一种类似，即Y'00、Y'01、Y'10、Y'11共用Cr00、Cb00 YUV420 planar数据. 

以720×488大小图象YUV420 planar为例，其存储格式是： 共大小为(720×480×3>>1)字节，分为三个部分:Y,U和V
Y分量    ：(720×480)个字节  

U(Cb)分量：(720×480>>2)个字节
V(Cr)分量：(720×480>>2)个字节
三个部分内部均是行优先存储，三个部分之间是Y,U,V 顺序存储。
即YUV数据的0－720×480字节是Y分量值, 720×480－720×480×5/4字节是U分量, 720×480×5/4－720×480×3/2字节是V分量。


4 ：2： 2 和4：2：0 转换：
最简单的方式：
YUV4:2:2 ---> YUV4:2:0  Y不变，将U和V信号值在行(垂直方向)在进行一次隔行抽样。 

YUV4:2:0 ---> YUV4:2:2  Y不变，将U和V信号值的每一行分别拷贝一份形成连续两行数据。

在YUV420中，一个像素点对应一个Y，一个4X4的小方块对应一个U和V。对于所有YUV420图像，它们的Y值排列是完全相同的，因为只有Y的图像就是灰度图像。YUV420sp与YUV420p的数据格式它们的UV排列在原理上是完全不同的。420p它是先把U存放完后，再存放V，也就是说UV它们是连续的。而420sp它是UV、UV这样交替存放的。(见下图) 有了上面的理论，我就可以准确的计算出一个YUV420在内存中存放的大小。 width * hight =Y（总和） U = Y / 4   V = Y / 4


所以YUV420 数据在内存中的长度是 width * hight * 3 / 2，
假设一个分辨率为8X4的YUV图像，它们的格式如下图：
YUV420sp格式如下图
   

       

YUV420p数据格式如下图
  

旋转90度的算法:
public static void rotateYUV240SP(byte[] src,byte[] des,int width,int height)
{
    
  int wh = width * height;
  //旋转Y
  int k = 0;
  for(int i=0;i<width;i++) {
   for(int j=0;j<height;j++) 
   {
               des[k] = src[width*j + i];   
         k++;
   }
  }
  
  for(int i=0;i<width;i+=2) {
   for(int j=0;j<height/2;j++) 
   { 
               des[k] = src[wh+ width*j + i]; 
               des[k+1]=src[wh + width*j + i+1];
         k+=2;
   }
  }
  
  
}

YV12和I420的区别    
     一般来说，直接采集到的视频数据是RGB24的格式，RGB24一帧的大小size＝width×heigth×3 Bit，RGB32的size＝width×heigth×4，如果是I420（即YUV标准格式4：2：0）的数据量是 size＝width×heigth×1.5 Bit。      

    在采集到RGB24数据后，需要对这个格式的数据进行第一次压缩。即将图像的颜色空间由RGB2YUV。因为，X264在进行编码的时候需要标准的YUV（4：2：0）。但是这里需要注意的是，虽然YV12也是（4：2：0），但是YV12和I420的却是不同的，在存储空间上面有些区别。如下： 
YV12 ： 亮度（行×列） ＋ U（行×列/4) + V（行×列/4）
I420 ： 亮度（行×列） ＋ V（行×列/4) + U（行×列/4）
可以看出，YV12和I420基本上是一样的，就是UV的顺序不同。
继续我们的话题，经过第一次数据压缩后RGB24－>YUV（I420）。这样，数据量将减少一半，为什么呢？呵呵，这个就太基础了，我就不多写了。同样，如果是RGB24－>YUV（YV12），也是减少一半。但是，虽然都是一半，如果是YV12的话效果就有很大损失。然后，经过X264编码后，数据量将大大减少。将编码后的数据打包，通过RTP实时传送。到达目的地后，将数据取出，进行解码。完成解码后，数据仍然是YUV格式的，所以，还需要一次转换，这样windows的驱动才可以处理，就是YUV2RGB24。
YUY2  是 4:2:2  [Y0 U0 Y1 V0]

yuv420p 和 YUV420的区别 在存储格式上有区别
yuv420p：yyyyyyyy uuuuuuuu vvvvv 
yuv420 ：yuv yuv yuv
       YUV420P，Y，U，V三个分量都是平面格式，分为I420和YV12。I420格式和YV12格式的不同处在U平面和V平面的位置不同。在I420格式中，U平面紧跟在Y平面之后，然后才是V平面（即：YUV）；但YV12则是相反（即：YVU）。
YUV420SP, Y分量平面格式，UV打包格式, 即NV12。 NV12与NV21类似，U 和 V 交错排列,不同在于UV顺序。
I420: YYYYYYYY UU VV    =>YUV420P
YV12: YYYYYYYY VV UU    =>YUV420P
NV12: YYYYYYYY UVUV     =>YUV420SP
NV21: YYYYYYYY VUVU     =>YUV420SP     

五, 采样格式说明
   表示YUV格式，一般用Y，U，V三者的比率来表示不同格式，比如YUV444 表示三者是比值此是 4:4:4
   即一个点数据点，Y,U,V的空间都是一样大小。目前主要有如下比例，注意所有格式中Y比值都是4,占一个字节,表示没有减少采样。不同格式中,减小只是UV的采样值.

• 4:4:4  表示色度值(UV)没有减少采样。即Y,U,V各占一个字节，加上Alpha通道一个字节，总共占4字节.这个格式其实就是24bpp的RGB格式了。
• 4:2:2  表示UV分量采样减半,比如第一个像素采样Y,U,第二个像素采样Y,V,依次类推,这样每个点占用2个字节.二个像素组成一个宏像素.  
• 4:2:0  这种采样并不意味着只有Y，Cb而没有Cr分量，这里的0说的U，V分量隔行才采样一次。比如第一行采样 4:2:0 ,第二行采样 4:0:2 ,依次类推...在这种采样方式下，每一个像素占用16bits或10bits空间.
• 4:1:1  可以参考4:2:2分量，是进一步压缩，每隔四个点才采一次U和V分量。一般是第0点采Y,U,第1点采Y,第3点采YV,第四点采Y,依次类推。
除了4:4:4采样，其余采样后信号重新还原显示后,会丢失部分UV数据，只能用相临的数据补齐，但人眼对UV不敏感，因此总体感觉损失不大。

4:2:2示例
原来四个像素为: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
存放的码流为:    Y0 U0      Y1    V1   Y2 U2      Y3    V3
映射出像素点为：[Y0 U0 V1] [Y1 U0 V1] [Y2 U2 V3] [Y3 U2 V3]

4:1:1示例
原来四个像素为: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
存放的码流为:    Y0 U0    , Y1      ,  Y2    V2 , Y3
还原出像素点为：[Y0 U0 V2] [Y1 U0 V2] [Y2 U0 V2] [Y3 U0 V2]

4:2:0示例
八个像素    ： [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3] [Y5 U5 V5] [Y6 U6 V6] [Y7 U7 V7] [Y8 U8 V8]
存放的码流为：  Y0 U0   ,  Y1,        Y2 U2,     Y3 ,       Y5 V5,     Y6,        Y7 V7,     Y8
映射出像素点： [Y0 U0 V5] [Y1 U0 V5] [Y2 U2 V7] [Y3 U2 V7] [Y5 U0 V5] [Y6 U0 V5] [Y7 U2 V7] [Y8 U2 V7]

4:2:0并不意味着只有Y,Cb而没有Cr分量。它指得是对每行扫描线来说，只有一种色度分量以2:1的抽样率存储。相邻的扫描行存储不同的色度分量，也就是说，如果一行是4:2:0的话，下一行就是4:0:2，再下一行是4:2:0...以此类推。