音视频数据处理（18）--- H.264的NAL层数据单元NALU与I帧判断

NAL全称Network Abstract Layer，即网络抽象层。在H.264/AVC视频编码标准中，整个系统框架被分为了两个层面：视频编码层面（VCL）和网络抽象层面（NAL）。其中，前者负责有效表示视频数据的内容，而后者则负责格式化数据并提供头信息，以保证数据适合各种信道和存储介质上的传输。

NAL单元是NAL的基本语法结构，它包含一个字节的头信息和一系列来自VCL的称为原始字节序列载荷（RBSP）的字节流。

如果NALU对应的Slice为一帧的开始，则用4字节表示，即0x00000001；否则用3字节表示，0x000001。 

NAL Header：

forbidden_bit，

nal_reference_bit（优先级）2bit，

nal_ref_idc. 取00~11,似乎指示这个NALU的重要性,如00的NALU解码器可以丢弃它而不影响图像的回放,0～3，取值越大，表示当前NAL越重要，需要优先受到保护。如果当前NAL是属于参考帧的片，或是序列参数集，或是图像参数集这些重要的单位时，本句法元素必需大于0。

nal_unit_type（类型）5bit。

这个头用于标识NAL单元中的RBSP数据类型，

其中，nal_unit_type为1， 2， 3， 4， 5的NAL单元称为VCL的NAL单元，其他类型的NAL单元为非VCL的NAL单元。

这5位数代表的含义如下：

1. 0：未规定  
2. 1：非IDR图像中不采用数据划分的片段  
3. 2：非IDR图像中A类数据划分片段  
4. 3：非IDR图像中B类数据划分片段  
5. 4：非IDR图像中C类数据划分片段  
6. 5：IDR图像的片段  
7. 6：补充增强信息（SEI）  
8. 7：序列参数集（SPS）  
9. 8：图像参数集（PPS）  
10. 9：分割符  
11. 10：序列结束符  
12. 11：流结束符  
13. 12：填充数据  
14. 13：序列参数集扩展  
15. 14：带前缀的NAL单元  
16. 15：子序列参数集  
17. 16 – 18：保留  
18. 19：不采用数据划分的辅助编码图像片段  
19. 20：编码片段扩展  
20. 21 – 23：保留  
21. 24 – 31：未规定  

NAL的头占用了一个字节，按照比特自高至低排列可以表示如下：

0AABBBBB

其中，AA用于表示该NAL是否可以丢弃（有无被其后的NAL参考），00b表示没有参考作用，可丢弃，如B slice、SEI等，非零——包括01b、10b、11b——表示该NAL不可丢弃，如SPS、PPS、I Slice、P Slice等。常用的NAL头的取值如：

[plain] view plain copy

 print?

1. 0x67: SPS    
2. 0x68: PPS    
3. 0x65: IDR      
4. 0x61: non-IDR Slice   
5. 0x01: B Slice   
6. 0x06: SEI   
7. 0x09: AU Delimiter  

由于NAL的语法中没有给出长度信息，实际的传输、存储系统需要增加额外的头实现各个NAL单元的定界。

其中，AVI文件和MPEG TS广播流采取的是字节流的语法格式，即在NAL单元之前增加0x00000001的同步码，则从AVI文件或MPEG TS PES包中读出的一个H.264视频帧以下面的形式存在：

  

1. 00 00 00 01 06 ...     00 00 00 01 67 ...     00 00 00 01 68 ...     00 00 00 01 65 ...   
2. SEI信息                SPS                    PPS                    IDR Slice  

而对于MP4文件，NAL单元之前没有同步码，却有若干字节的长度码，来表示NAL单元的长度，这个长度码所占用的字节数由MP4文件头给出；此外，从MP4读出来的视频帧不包含PPS和SPS，这些信息位于MP4的文件头中，解析器必须在打开文件的时候就获取它们。从MP4文件读出的一个H.264帧往往是下面的形式（假设长度码为2字节）：

1. 00 19 06 [... 25 字节...]     24 aa 65 [... 9386 字节...]   
2. SEI信息                       IDR Slice  

2、帧分割。
在实际的H264数据帧中，往往帧前面带有00 00 00 01 或 00 00 01分隔符，一般来说编码器编出的首帧数据为PPS与SPS，接着为I帧……

如下图：

3、如何判断帧类型（是图像参考帧还是I、P帧等）？

 NALU类型是我们判断帧类型的利器，从官方文档中得出如下图：

我们还是接着看最上面图的码流对应的数据来层层分析，以00 00 00 01分割之后的下一个字节就是NALU类型，将其转为二进制数据后，解读顺序为从左往右算，如下:
（1）第1位禁止位，值为1表示语法出错
（2）第2~3位为参考级别
（3）第4~8为是nal单元类型

例如上面00000001后有67,68以及65

其中0x67的二进制码为：
0110 0111
4-8为00111，转为十进制7，参考第二幅图：7对应序列参数集SPS

其中0x68的二进制码为：
0110 1000
4-8为01000，转为十进制8，参考第二幅图：8对应图像参数集PPS

其中0x65的二进制码为：
0110 0101
4-8为00101，转为十进制5，参考第二幅图：5对应IDR图像中的片(I帧)

 

所以判断是否为I帧的算法为： （NALU类型  & 0001  1111） = 5   即   NALU类型  & 31 = 5

比如0x65 & 31 = 5