(rfc3984)H.264视频的RTP负载格式--学习笔记

H.264视频的RTP负载格式
1介绍-----------------------------------------------------------
一个nal单元由一字节的头和负载字节组成
h.264的一个主要特性是传输时间,解码时间,图像有片断采样时间完全解耦合
参数集概念-------------------------------------------------------
h.264规范包含两类参数集:
  顺序参数集
  图像参数集
参数集结构包含 :图像大小,采用的可选的编码模式,宏块到片断组映射等信息


网络抽象层单元类型-------------------------------------------------
nal的设计信息?????????????
所有nal单元有一个单个nal单元类型字节,也作为rtp负载格式的负载头,后加nal单元的负载
nal单元字节的结构语义


      +---------------+
      |0|1|2|3|4|5|6|7|
      +-+-+-+-+-+-+-+-+
      |F|NRI|  Type   |
      +---------------+
f: 1bit forbidden_zero_bit H.264规范声明设置为1,指示语法违例
nri: 2bit  值为00时指示nal单元的内容不用于重建引用图像的帧
           大于00时要求维护引用图像的完整性
type: 5bit nal_unit_type 本部件指定nal单元负载类型定义


定义和缩写


don(decoding order number):解码顺序号
donb:
dond:解码顺序号差
fec:向前纠错
fu:分片单元
idr:舜间解码刷新
mane:美提感知网络元素
mtap:多时刻聚合包
mtap16:16位时戳位移
mtap24:24位时戳位移
nal网络抽象层
nalu:nal单元
sei:被充增强信息
stap:单时刻聚合包
stap-a:stab类型a
stap-b:stab类型b
ts:时间戳
vcl:视频解码层




RTP 负载格式
RTP头的使用(再看一看rtp头吧)
 0                   1                   2                   3
       0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |V=2|P|X|  CC   |M|     PT      |       sequence number         |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                           timestamp                           |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |           synchronization source (SSRC) identifier            |
      +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+
      |            contributing source (CSRC) identifiers             |
      |                             ....                              |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+


                       图 1.  RTP 头。
对RTP头作如下设置:
maker_bit(M): 1bit 
对RTP时间戳指示的访问单元的最后一个包位进行设置
允许有效缓冲处理布局
对于聚合包(stap,mtap) m位必须设置成最后一个NAL单元
如果传送在单个RTP包中


注:运送多个nal单元的聚合包只有一个M位相关联, 如果一个网关重新打包一个聚合包为几个包,M位的设置就会显得不可靠


playload type(pt): 7bit
sequece number(sn):16bit
对于单个nalu与非交错打包方式,序号用于nalu解码顺序


timestamp:32bit
设置为内容的采样时戳,必须使用90khz的时钟频率
如果nal单元没有自已的时间戳设置成访问单元主编码图象的时间戳
接收者应该忽略包含在访问单元的任何图像时间SEI消息,通过rtp时戳同步显示过程




注:因为h.264允许解码顺序可以和显示顺序不同,RTP时戳的值对于RTP的序号可以不是单调非减的


RTP负载格式的公共结构-------------------------------------------
可以通过rtp负载的第一个字节来识别负载结构
单个nal单元包   (h264需要的rbsp)
聚合包:
stap-a聚合包a (nal单元的大小为65535)
stap-b聚合包b
mtap16
mtap24
分片单元:
FU-A分片单元fu-a
FU-B分片单元fu-b




   Table 1.  单元类型以及负载结构总结
   单元类型号
      Type   Packet    Type name                        Section
      ---------------------------------------------------------
      0      undefined                                    -
      1-23   NAL unit  Single NAL unit packet per H.264   5.6
      24     STAP-A    Single-time aggregation packet     5.7.1
      25     STAP-B    Single-time aggregation packet     5.7.1
      26     MTAP16    Multi-time aggregation packet      5.7.2
      27     MTAP24    Multi-time aggregation packet      5.7.2
      28     FU-A      Fragmentation unit                 5.8
      29     FU-B      Fragmentation unit                 5.8
      30-31  undefined                                    -
注:没有限制单封装在单个nal单元包和分片单元的大小
   封装在聚合包nal单无的大小为(65535)


nal单元字节的使用-------------------------------------------------


      +---------------+
      |0|1|2|3|4|5|6|7|
      +-+-+-+-+-+-+-+-+
      |F|NRI|  Type   |
      +---------------+


f:1bit forbidden_zero_bit
nri: 2bit  nal_ref_idc
 0值和非0值与h264规范一样
          大于00的nri值指示相对传输优先级
 最高优先级是11,依次为10-01 ,00最低
注:任何非零的nri在h.264解码器的处理是相同的,接收者在传送nal单元给解码器时不必操作nri的值


nal单元类型的值:
h.264编码器必须要据h264的规范设置nri值
当nal_unit_type范围是1到12
在h.264规范要求对于nal_unit_type为6,9,10,11,12的nal单元的nri值为0
nal_unit_type为7，8的nal单元的nri值为11，nal单元里封装有是(序列参数集和图像参数集)
nal_unit_type为5的nal单元的nri值为11


注:在某些profile中数据分区不可用，在main或baseline profiles
   如果nal 单元类型2,3,4出现在视频流符合数据分区被允许的profile情况下
   不会出现在符合main/baseline profile


   Table 2.  编码片和主编码参考图像数据分区的编码片的NRI值的例子


      NAL Unit Type     Content of NAL unit              NRI (binary)
      ----------------------------------------------------------------
       1              non-IDR coded slice                         10
       2              Coded slice data partition A                10
       3              Coded slice data partition B                01
       4              Coded slice data partition C                01


         注释: 像以前提起的, 非参考图像NRI值是00.


h.264编码器应该设置冗余编码参考图像的编码片和编码片分区nal单元的nri值为01


nal单元类型(nal_unit_type)24-29的nri的定义？？？？？？？？？？？？？？
nal单元类型(nal_unit_type)13-23的nri的值,这些值保留给itu-t,iso/iec
nal单元类型(nal_unit_type)0,30,31的nri的值,没有指定


打包方式------------------------------------------------------------------
 1 单个NAL单元方式 常规系统，兼容itu-t h.261
 2 非交错方式 可以不符合ITU-T H.241建议.在非交错方式, NAL单元按照NAL单元解码顺序传送
 3 交错方式  不要求非常低端到端延迟的系统,允许传送NAL单元不按照NAL单元解码顺序


设置打包方式:通过optional packetization-mode mime的值指定
每个打包方式允许的NAL单元类型总结(yes = 允许, no = 不允许, ig = 忽略)


                       单个nal方式    非交错方式        交错方式
      Type   Packet    Single NAL    Non-Interleaved    Interleaved
                       Unit Mode           Mode             Mode
      -------------------------------------------------------------


      0      undefined     ig               ig               ig
      1-23   NAL unit     yes              yes               no
      24     STAP-A        no              yes               no
      25     STAP-B        no               no              yes
      26     MTAP16        no               no              yes
      27     MTAP24        no               no              yes
      28     FU-A          no              yes              yes
      29     FU-B          no               no              yes
      30-31  undefined     ig               ig               ig




解码顺序号don-------------------------------------------------------------
在交错打包方式,nal单元的传输顺序允许和nal单元的解码顺序不同
解码顺序号是负载结构中的一个域或一个获得变量指示nal单元的解码顺序
(按解码顺序传输)
传输和解码顺序的耦合由optional sprop-interleaving-depth mime参数控制
如果optional sprop-interleaving-depth mime该值等于0,或者外部手段不允许nal单元顺序和解码顺序不同，此时传输顺序和解码顺序必需一致 


如果允许不一致：
mtap16/mtap24中的nal单元顺序不要求是
两个连续包中的stap-b，mtap,fu解嵌套产生的nal单元序号不要求是nal单元解码序号


stap-a和fu-a的负载结构中不含don
stap-b和fu-b的负载结构包含 don


注：当fu-a出现在交错方式，后面总跟一个fu-b,设置自已的don
    想封装单个nal单元，且每个包都不按照他们的解码顺序 可以使用stap-b包




单个nal单元打包：传输顺序由rtp序号确定，必须要nal单元解码顺序一致
非交错打包方式：在单nal单元包 stap-a  fu-a中nal单元的传输顺序必须和解码一致
                解码顺序首先由stap隐含顺序提供，再次由rtp序号提供
在传送STAP-B MTAP和FU-B开始的一些列分片单元中的nal单元的don值?????????????




传输顺序中的nal单元，可以设置成任何值,0-65535 循环
在传送STAP-B MTAP和FU-B开始的一些列分片单元中的nal单元的don值按如下：
DON(i)是索引为i传输顺序的解码顺序号. 函数don_diff(m,n)定义如下：
   
      If DON(m) == DON(n), don_diff(m,n) = 0


      If (DON(m) < DON(n) and DON(n) - DON(m) < 32768),
      don_diff(m,n) = DON(n) - DON(m)


      If (DON(m) > DON(n) and DON(m) - DON(n) >= 32768),
      don_diff(m,n) = 65536 - DON(m) + DON(n)


      If (DON(m) < DON(n) and DON(n) - DON(m) >= 32768),
      don_diff(m,n) = - (DON(m) + 65536 - DON(n))


      If (DON(m) > DON(n) and DON(m) - DON(n) < 32768),
      don_diff(m,n) = - (DON(m) - DON(n))
              
don相关的值：
don
donb
dond


如果两个nal解码单元顺序的nal单元交换,新序号不符合nal单元解码顺序，nal单元不能有相同的don值，反之可以相同
例如： 当使用的视频编码profile允许任意分片顺序，一个编码图像的所有编码片的nal单元可以有相同的don值,可以按照任何顺序解码，如果有不同的don值的nal单元应该按照指定的顺序传递给解码器


连接的nal单元如果有不同的don值，don的值应该是递增的,但不决对是加1


 
解包过程恢复NAL单元解码的例子??????????????????????????????










单个NAL单元包----------------------------------------------------------
单个nal单元包必须只包含一个类型定义在nal单元
一个封装单个nal单元包到rtp的nal单元流的rtp序号必须符合nal单元的解码顺序








注: NAL单元的第一字节和RTP负载头第一个字节重合。


       0                   1                   2                   3
       0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |F|NRI|  type   |                                               |
      +-+-+-+-+-+-+-+-+                                               |
      |                                                               |
      |               Bytes 2..n of a Single NAL unit                 |
      |                                                               |
      |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                               :...OPTIONAL RTP padding        |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+


      Figure 2.  单个NAL单元包的RTP负载格式。


聚合包--------------------------------------------------------------
nal单元聚合安排
本规范定义的两类聚合包:
单时间聚合包STAP: 聚合相同nalu时间的nal单元,
 stap-a 包含don
 stap-b 不包含don
多时间聚合包MTAP：聚合具有差异nalu时间的nal单元
 MTAP16 nal单元时戳位移长度为：16位
 MTAP24 同上,24位
       0                   1                   2                   3
       0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |F|NRI|  type   |                                               |
      +-+-+-+-+-+-+-+-+                                               |
      |                                                               |
      |             one or more aggregation units                     |
      |                                                               |
      |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                               :...OPTIONAL RTP padding        |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+


      图 3.  聚合包的RTP负载格式。


mtaps和staps公用以下打包规则:
rtp时戳必须设置为被聚合nal单元中最早nalu时间，具体类型域的设置如下表


 表 4.  STAPs和MTAPs的类型域


  Type  Packet 时戳位移域长度（位）DON相关的域(DON, DONB, DOND）是否存在
      --------------------------------------------------------
    24  STAP-A       0                 no
    25  STAP-B       0                 yes
    26  MTAP16      16                 yes
    27  MTAP24      24                 yes
如果聚合单元的F位为0,f位必须清除,否则必须设置,nri的值必须是运送在聚合包中nal单元的最大值 
RTP头的maker位置为聚合包中最后nal单元 


聚合包的负载由一个或多个聚合单元组成（单时间（stap-a/stap-b）,多时间（mtap-a/mtap-b））,一个聚合包可以传送多个聚合单元
一个聚合包不可以包含指定的分片单元，聚合包不可以嵌套
  




单时间聚合包------------------------------------------------------
应用场景:
当聚合在一起的nal单元使用相同的nalu时刻


stap-a负载不包括don，至少要包含一个单时刻聚合单元




       0                   1                   2                   3
       0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
                      :                                               |
      +-+-+-+-+-+-+-+-+                                               |
      |                                                               |
      |                single-time aggregation units                  |
      |                                                               |
      |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                               :
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+


                     图 4.  STAP-A负载格式


stap-b负载包含一个16位的无符号解码顺序号(don),(网络字节序),至少要一个单时刻聚合单元




       0                   1                   2                   3
       0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
                      :  decoding order number (DON)  |               |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+               |
      |                                                               |
      |                single-time aggregation units                  |
      |                                                               |
      |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                               :
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+


                 图 5.  STAP-B 负载格式


don域：指定STAP-B传输顺序中第一个nal单元的don值,对于后续出现的stap-b中的nal单元，don的值等于(stap-b的前一个nal的don值—+1)%65535






单时刻聚合单元有一个16位无符号大小信息（网络字节序),用于指示紧跟其后的nal单元的大小，（不包含这两个字节，但包含单元类型字节）
      
       0                   1                   2                   3
       0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
                      :        NAL unit size          |               |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+               |
      |                                                               |
      |                           NAL unit                            |
      |                                                               |
      |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                               :
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+


              图 6.  单时刻聚合单元的结构


一个RTP包包含一个STAP-A，STAP包含两个单时刻聚合单元
       0                   1                   2                   3
       0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                          RTP Header                           |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |STAP-A NAL HDR |         NALU 1 Size           | NALU 1 HDR    |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                         NALU 1 Data                           |
      :                                                               :
      +               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |               | NALU 2 Size                   | NALU 2 HDR    |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                         NALU 2 Data                           |
      :                                                               :
      |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                               :...OPTIONAL RTP padding        |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+


      图 7.  RTP包包含一个STAP-A. STAP包含两个单时刻聚合单元


一个rtp包包含一个stap-b,stap包含两个单时刻聚合单元




       0                   1                   2                   3
       0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                          RTP Header                           |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |STAP-B NAL HDR | DON                           | NALU 1 Size   |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      | NALU 1 Size   | NALU 1 HDR    | NALU 1 Data                   |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+                               +
      :                                                               :
      +               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |               | NALU 2 Size                   | NALU 2 HDR    |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                       NALU 2 Data                             |
      :                                                               :
      |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                               :...OPTIONAL RTP padding        |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+


      图 8.  一个RTP包包含一个STAP-B. STAP包含两个单时刻聚合单元例子




多时刻聚合包----------------------------------------------------
多时刻聚合包的nal单元负载有:
1 16位的无符号解码顺序号基址（donb）,donb必须包含mtap时的nal单元的          第一个nal的don值
2 (网络字节序)
3 一个或多个时刻聚合单元
注：nal解码顺序中的第一个nal单元不必是封装在mtap中的第一个nal单元
    




       0                   1                   2                   3
       0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
                      :  decoding order number base   |               |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+               |
      |                                                               |
      |                 multi-time aggregation units                  |
      |                                                               |
      |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                               :
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+


           图 9. MTAP的NAL单元负载格式




本规范定义了两个多时刻聚合单元， 
mtap16
mtap24
两类单元都包含以下内容：
16位的无符号大小信息
一个8位无符号解码序号差值(dond)
n位时戳位移（可以是16/24）,时戳位移越大，mtap灵活性越大
一个包中的聚人合单元开始到结束不要求位于32位的边界
don的值等于(donb+dond)%65535
大多数情况下使用nal单元解码顺序
时戳位移域
    如果nalu-time大于包的rtp时戳，则时戳位移=（nalu-time-包的rtp时戳）
    如果malu-time小于包的rtp时戳，时戳位移=nalu-time+(2~32-包的rtp时戳)




       0                   1                   2                   3
       0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      :        NAL unit size          |      DOND     |  TS offset    |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |  TS offset    |                                               |
      +-+-+-+-+-+-+-+-+              NAL unit                         |
      |                                                               |
      |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                               :
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+


                  图 10.  MTAP16多时刻聚合单元


       0                   1                   2                   3
       0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      :        NALU unit size         |      DOND     |  TS offset    |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |         TS offset             |                               |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+                               |
      |                              NAL unit                         |
      |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                               :
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+


                 图 11.  MTAP24多时刻聚合单元
一个mtap中最早的聚合单元时戳位移必须为0，mtap的rtp时戳和最早的nalu-time相同






一个rtp包包含一个多时刻mtap16类型的聚合包, 聚合包包括两个多时刻聚合单元


       0                   1                   2                   3
       0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                          RTP Header                           |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |MTAP16 NAL HDR |  decoding order number base   | NALU 1 Size   |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |  NALU 1 Size  |  NALU 1 DOND  |       NALU 1 TS offset        |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |  NALU 1 HDR   |  NALU 1 DATA                                  |
      +-+-+-+-+-+-+-+-+                                               +
      :                                                               :
      +               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |               | NALU 2 SIZE                   |  NALU 2 DOND  |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |       NALU 2 TS offset        |  NALU 2 HDR   |  NALU 2 DATA  |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+               |
      :                                                               :
      |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                               :...OPTIONAL RTP padding        |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+


      图 12. 一个RTP包包含一个多时刻MTAP16类型的聚合包，包括两个多时刻聚合单元










一个rtp包包含一个多时刻mtap24类型的聚合包，聚合包括两个多时刻聚合单元


       0                   1                   2                   3
       0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                          RTP Header                           |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |MTAP24 NAL HDR |  decoding order number base   | NALU 1 Size   |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |  NALU 1 Size  |  NALU 1 DOND  |       NALU 1 TS offs          |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |NALU 1 TS offs |  NALU 1 HDR   |  NALU 1 DATA                  |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+                               +
      :                                                               :
      +               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |               | NALU 2 SIZE                   |  NALU 2 DOND  |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |       NALU 2 TS offset                        |  NALU 2 HDR   |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |  NALU 2 DATA                                                  |
      :                                                               :
      |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                               :...OPTIONAL RTP padding        |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+


      图 13.  RTP包包含一个多时刻MTAP24类型的聚合包，包括两个多时刻聚合单元








分片单元fus----------------------------------------------------------
本负载类型允许分片一个nal单元到几个rtp包中,在应用层分片的好处在于：
1 负载中nal单元大于64k字节，可以在ipv4网络中进行传输
2 分派机制允许分片单个图像,采用一般向前的纠错


分片只定义于单个nal不用于任何聚合包
nal单元的一个分片由整数个连续nal单元字节组成
相同的nal单元的分片必须递增的RTP序号连序发送
nal单元必须按照RTP序号顺序装配
fus不可以嵌套
运送fu的RTP时戳被设置成人片nal单元的nalu时刻




fu-a的RTP负载格式------------------------------------------------
由1个字节的分片单元指示
一字节的分片单元头
分片单元负载


       0                   1                   2                   3
       0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      | FU indicator  |   FU header   |                               |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+                               |
      |                                                               |
      |                         FU payload                            |
      |                                                               |
      |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                               :...OPTIONAL RTP padding        |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+


      图 14.  FU-A的RTP负载格式




fu-b的RTP负载格式------------------------------------------------
一字节的分片单元指示
一字节的分片单元头
解码顺序号
分片单元负载


       0                   1                   2                   3
       0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      | FU indicator  |   FU header   |               DON             |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-|
      |                                                               |
      |                         FU payload                            |
      |                                                               |
      |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
      |                               :...OPTIONAL RTP padding        |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+


          图 15.  FU-B的RTP负载格式


对于分片nal单元的第一个分片:
如果是交错打包方式,必须使用fu-b(即它作为第一个分片)后面跟的是一个或多个fu-a 分片




 FU指示字节有以下格式(FU indicator)：
      +---------------+
      |0|1|2|3|4|5|6|7|
      +:-+-+-+-+-+-+-+-+
      |F|NRI|  Type   |
      +---------------+
fu指示字节的类型域:
  fu-a 28
  fu-b 29
NRI的值必须跟据分片nal单元NRI的值设置
 


fu头格式( FU header):
  FU头的格式如下：
      +---------------+
      |0|1|2|3|4|5|6|7|
      +-+-+-+-+-+-+-+-+
      |S|E|R|  Type   |
      +---------------+
s: 1bit  当设置成1,开始位指示分片nal单元的开始
         如果跟随的fu负载不是分片单元的开始,则设置为0


e: 1bit  当设置成1,结束位指示分片单元的结束,
         即负载的最后字节也是分片nal单元的最后字节
         反之,则设为0
r: 1bit 保留位必须设置为0,接收者必须忽略该位
type: 5bit nal单元的负载类型




注: fu-b中的don域允许网关分片nal单元到fu-b而不用组织进来的nal单元到nal单元解码顺序


一个分片单元不可以传输在一个fu中,即开始位和结束位不可以被同时设置在同一个fu中
一个fu负载可以有任意字节也可为空


如果一个分片单元丢失,接收者应该丢弃后续的所有分片单元,即相同分片nal单元的传输顺序的分片
接收者可以聚合前一个nal单元的n-1分片到一个不完全的nal单元,这时forbidden_zero_bit必须设置为0






打包规则-----------------------------------------------------------
所有的打包方式,发送者必须遵守的打包规则:
1 属于同一编码图象(相同的rtp时戳)的编码nal单元,可以任何顺序发送
2 参数集
3 manes不可以重复任何nal单元,除了顺序和图像参数集nal单元




使用非交错方式和交错方式:
manes可以转换单个nal单元包到一个聚合包,转换一个聚合包到几个单个nal单元包




单个nal单元模式:
应用在optional打包方式mime参数等于0,不包含打包方式,
主要应用低延迟应用,只有单个nal单元可以用, staps mtaps fus不可以使用
传输顺序必须和nal解码顺序一致




非交错方式
在optional打包方式mime参数值等于1,主要应用于低延迟应用
本方式只允许单个nal单元包,stap-as fu-as,
stap-bs,mtaps,fu-bs不可以使用
传输顺序必须和nal解码顺序一致




交错方式:
本方式应用在optional打包方式mine参数值等于2
stap-bs mtaps fu-as fu-bs可以使用
stap-as和单个nal单元包不可以使用




打包过程--------------------------------------


单个nal和非交错方式
接收者存储起来的包按照接收顺序存储在接收缓冲区中
包被解封装,按照rtp序号的顺序,如果是单个nal单元包,nal单元直接传递给解码器
如果是一个stap-a,包含在包中的nal单无按照在包中的顺序传递给解码器
如果是一个fu-a,所有的分片nal单元的单元分片连接在一起传递给解码器




交错方式:
重新排序nal单元从传输顺序到nal单元解码顺序
接收者有一个接收缓冲区来补尝传输延迟抖动
还有个解交错缓冲








如何计算交错缓冲区的大小 (解交错缓冲区的大小)
在sdp offer/answer模型中,
接收者可以分配一个解交错缓冲区,使用deintbuf-cap mime参数
发送者指示解交错缓冲区大小的要求,使sprop-deint-buf-req mime参数
因此设置解交错缓冲区大小>=sprop-deint-buf-req mime参数指定的值


























(解交错过程)
指定接收过程如何组织接收到nal单元到nal解码顺序
在接收者中有两种缓存状态:
   初始缓冲  发生成rtp会话初始化时,
   正在播放缓冲


常用函数:
absDON
don_diff
常数n 是optional sprop-interleaving-depth mime类型参数的值




初始缓冲持续直到以下条件完成:
1 在解交错缓冲区中有 n   vcl(视频编 码层)   nal单元
2 如果sprop-max-don-diff存在,don_diff(m,n)大于sprop-max-don-diff的值
    n对应所有接收到的nal单元中最大absDON值的nal单元
    m对应最小
3 初始缓冲区持续时间>= optional sprop-init-buf-time mime参数指定的值




要从解交错缓中区删除的nal单元的确定:
1 如果解交错缓冲区包含至少n个vcl  nal单元,nal单元从解交错缓冲区移到解码器
  按下面的次序,直到中包含n-1 vcl nal单元
2 如果sprop-max-don-diff存在,他们的don-diff(m,n)大于sprop-max-don-diff大 于sprop-max-don-diff的从解交错缓冲区移出传送给解码器




nal单元传递给解码器的顺序:
1 rtp会话开始时 初始化pdon为0
2 计算每个关联don的nal单元的don距离
  如果nal单元的don大于pdon的值,don=don-pdon
  否则,don=65535-pdon+don+1
3 nal单元分发给解码器按照don距离递增的顺序,如果don相同,可按任意顺序传送
4 当一定数目的nal单元传递给解码器,pdon的值设置为传给解码器最后一个nal单元的don值


附加打包规则
实现一个可操作的h.264打包器:
1 智能rtp接收者 可以识别丢失的编码片断数据分区a(dpas),如果发现丢失dpa
  网关可以决定不发送对应的编码片断数据分区b和c,
2 智能rtp接收者 可以识别丢失的fu,如果发现丢失一个fu.网关可以决定不发送同     同一个分片nal的后续fu 
3 不得不丢弃包或nalu的智能接收者应该首先丢弃所有nal单元中所有nal单元类型    中nri的值等于0的包