视频编码框架

首先是码流结构图：（H.264）

H264的编码格式：h264的功能分为两层，视频编码层（VCL）和网络提取层（NAL）

VCL功能是进行视频编解码，包括运动补偿预测，变换编码和熵编码等功能，目的是在尽可能独立于网络的情况下进行高效地编解码。

NAL用于采用适当的格式对VCL视频数据进行封装打包。它覆盖了所有的片级以上的语法级别。

其关系如图所示：

按码流结构：

层一是两种流格式，Annexb即字节流格式的码流主要用于存储，例如制作DVD（当然现在的DVD还不是用H.264），RTP格式码流主要用于网络传送，例如在线看电影。

AnnexB格式：NALU数据+开始前缀（00000001或000001，此处注意为甚么是4bit或3bit），针对的是H.320电话会议。

RTP   格式：NALU数据+20个字节的类似的并不符合RTP协议的RTP头。针对IP网络的RTP打包方式。为原始的NAL打包格式，就是开始的若干字节（1，2，4字节）是NAL的长度，而不是start_code,此时必须借助某个全局的数据来获得编码器的profile,level,PPS,SPS等信息才可以解码。

H.264协议只规定了字节流格式，没有规定 RTP 格式。JM 的 RTP 格式没有被用到任何场合场合中，成为了摆设。

层二是NAL Unit：

    

NALU第一字节就是包括3个语法结构： forbidden_zero_bit(1),nal_ref_idc(2),nal_unit_type(5),加起来正好一个字节， 如上图所示。

典型的RBSP单元序列如图下图所示，参数图像集PPS，增强信息SEI，图像定界符PD，编码片。

层三是片层Slice

 JM参考软件提供了两种分片方式，如图所示，分别是固定码率分片方式和固定宏块分片方式。

在固定码率分片方式中，每片所占用的比特数是一定的，由于宏块编码时候的复杂度不一样，每个宏块所占用的比特数也不一样，所以这种编码方式中每片中的宏块数目是不固定的。

在固定宏块分片方式，每片中的宏块数目是固定的，从而每片所占用的码率是不固定的。前者有利于减少由MTU太大而引起的分组损失，主要用于对片大小要求比较严格的环境中，如无线网络中；而后者能有效减小网络传输延迟，主要用于有线网络环境中。

在EBR编码，对片的大小和其中的宏块数目都有要求，需要有更先进的分片方法。

在无线信道传输中，片的长度严重影响到视频码流的容错性能。片的长度与RLC-PDU的长度是密切相关的。如果片的长度过大，每片数据需要多个RLC帧来传输。则当其中某一帧数据发生错误时，整片数据将无法恢复。但是，如果片过小，则增加了协议头的开销，不利于整个数据流的传输；另外如果片过小，不利于宏块间的预测，降低了压缩效率。因此，片的大小应当小于或等于RLC-PDU的大小，并且每帧图像至少有2到3片。

第三层是宏块结构（以HEVC为例）

为了提高高分辨率视频的编码效率，HEVC采用了基于大尺寸的四叉树编码结构，CU、PU、TU描述如图：

宏块编码过程中：

帧内预测编码技术：角度预测

                                   帧内planar和帧内DC预测

                                   参考像素平滑

                                    边界值平滑

                                   参考像素替换

                                   模式编码

帧间预测编码技术：宏块分割http://blog.chinaunix.net/uid-26000296-id-3764982.html

                                   分像素差值

                                  merge模式

                                  运动矢量预测

                                   运动补偿

                                   多帧预测

                                   环路滤波：（1）去块滤波DBF：只采用8x8结构，H.264中是4x4.先对垂直边缘进行水平滤波，再对水平边缘进行垂直滤波

                                                        （2）采样自适应偏移滤波器SAO：用在DBF之后，使用查表进行原始信号重建。对每个CTB，可以使用/禁用一种或两种模式：边缘偏移模式或                                                                   者带偏移模式。边缘偏移模式将采样像素值利用四种方向梯度模式与8个边缘像素中的两个比较，并对像素进行分类：minimum，两种                                                                        edges，maximum，或者neither。对于前四种模式，滤波器进行偏移操作。带偏移模式采用的偏移量基于某个单一采样值的幅度，依据                                                                     该幅度分为32个不同的band。四个连续的band指定一个偏移量。SAO旨在提高图像的质量，减少带状干扰和边缘震荡效应。

变换和量化：http://blog.chinaunix.net/uid-26000296-id-3764983.html

熵编码：http://blog.chinaunix.net/uid-26000296-id-3764985.html

                            CABAC

                            系数编码

解码流程：

http://blog.sina.com.cn/s/blog_6aaa7e840100rpd3.html，

NAL单元解码

后面两图传不上，毕书图8.1,8.2.

解码流程

                                                                                                                                             解码器功能框图