H.264编码技术

毕厚杰 新一代视频压缩编码标准---H.264/AVC 人民邮电出版社


基本概念


基于波形的编码采用了把预测编码和变换编码组合起来的基于块的混合编码方式。
基于内容的编码方式先把视频帧分成对应不同物体的区域，然后分别编码。或者当物体种类已知时采用基于知识或模型的编码。
MPEG-4采用的编码方法就既有基于块的混合编码，又有基于内容的编码方法。
将输入的模拟信号经过取样保持，量化和编码就可以得到数字信号。数字电视信号采用PCM（脉冲编码调制）。
因为现存在三种彩色电视制式，所以为了实现国际上不同彩色电视制式国家之间的视频通信，往往采用一种中间公共格式（CIF)。亚QCIF，QCIF,CIF,4CIF的分辨率依次增大。
RGB和YCbCr(YUV)彩色空间可以相互转换。
有三种彩色电视取样格式，分别是4:4:4,4:2:2,4:2:0。最后者常用于数字电视，会议电视，DVD等。
图像采集的功能由图像传感器实现，主要有CCD和CMOS两种技术。前者多用于高端产品，后者多用于低端场合。
无论CCD或者CMOS对于彩色图像的获取，需要借助于色彩滤镜阵列CFA，并通过色彩插值来进一步处理以获得彩色像素值图像。但由于传感器的本身特性，仍然需要通过彩色校正来补偿传感器响应的图像与真实场景之间的差异。
研究表明，显示器的输出强度和输出电压大致呈幂指数关系,即I=P的γ次幂，而将上述的非线性校正为线性关系就称为伽马校正。
图像增强的技术有：均值滤波或中值滤波，图像锐化，直方图均衡。
色温越高，蓝色成分就越多；色温越低，红色成分就越多。消除环境中光源色温的影响，要进行白平衡处理。两种方法：全局平衡法是假设整个图像的R,G,B分量的统计值平均应该相等。局部平衡法是选择图像中最亮的区域作为白色区域。
视频客观质量的测量最常采用峰值信号与噪声之比PSNR来衡量。
一般，帧间预测编码比帧内预测编码的编码效率更高。
重叠块运动补偿OBMC的方法，对一个像素的预测不仅基于它所属的MV（运动矢量）估计，还基于其相邻的MV估计。这样可以减少当每个块中有多个运动物体或MV估计不准等情况时所产生的方块效应。
得到运动矢量MV的过程称为运动估计。运动矢量也使用邻近的已编码的块的运动矢量进行预测。
变换编码是将空间域的图像变换到频域或所谓的变换域，对相关性很小的变换系数进行压缩编码的方法。有K-L变换（理想化的参考标准），离散余弦变换DCT等。变换系数量化后，在低频和直流区域有少量较大的值，高频区域有少量不大的值，系数大部分为零，所以，通常会根据该统计特性采用熵编码进一步压缩码率。






H.264编码过程


H.264并不明确地规定一个编码器如何实现，而是规定了一个编了码的视频比特流的句法，和该比特流的解码方法，各个厂商的编码器和解码器在此框架下应能够互通，在实现上具有较大的灵活性。


编码过程总述：
输入的帧或场F以宏块为单位被编码器处理。首先，按帧内或者帧间预测编码的方法进行处理。
如果采用帧内预测编码，其预测值PRED是由当前片中已编码的参考图像经运动补偿MC后得到的，为了提高预测精度，从而提高压缩比，实际的参考图像可以在过去或未来已编码解码重建和滤波的帧中进行选择。
预测值PRED和当前块相减后，产生一个残差块D，经过块变换，量化后产生一组量化后的变化系数X，再经熵编码，与解码所需的一些边信息（如预测模式量化参数，运动矢量等）一起组成一个压缩后的码流，经NAL包装后供传输和存储用。
为了提供进一步预测用的参考图像，编码器必须有重建图像的功能。首先是残差图像经过反量化，反变换后得到的D'，与预测值PRED相加，得到uF'，然后使用环路滤波器滤波后的输出F'即为重建图像，可用作参考图像。


帧内预测过程
预测块P是由已编码重建块MC后和当前块差值得到的。
对亮度而言，P块用于4*4子块或者16*16宏块的相关性操作。4*4亮度子块有9种可选预测模式，独立预测每一个4*4亮度子块，适用于有大量细节 的图像编码；16*16亮度块有4种预测模式，适用于平坦区域图像编码。
色度块