H.264参考帧管理

引言

H．264相对于以前的标准，采用了多参考帧的技术，提高了编码器的性能，但也增加了实现的复杂度，在理解上也加大了难度。下面是我近来参阅一些资料的总结；

 

frame_num：标志片的解码顺序，当前图像是IDR（立即刷新图像）时，设置为0；相对于前面一个参考帧（解码顺序），增加1；

POC：picture order count的缩写，标志片的播放顺序，IDR图像的第一个场的POC为0；POC由片头信息得出，根据pic_order_cnt_type有三种计算方法；

Type0：TopFieldOrderCnt=POCMsb+POCLsb

POCLsb由片头提供，即pic_order_cnt_lsb；当pic_order_cnt_lsb溢出时，POCMsb增加；delta_pic_order_cnt指示顶场和低场POC的变化，默认值为0；

例：

播放顺序：IBPBPBPB…

B帧不作参考帧，则POC相对于前面的一个参考帧增加2；

 

Access Unit

Type

Used for reference

frame_num

POC_lsb

TopPOC

Display order

1

I

Yes

0

0

0

0

2

P

Yes

1

4

4

2

3

B

No

2

2

2

1

4

P

Yes

2

8

8

4

5

B

No

3

6

6

3

6

P

Yes

3

12

12

6

7

B

No

4

10

10

5

8

P

Yes

4

16

16

8

…

…

…

 

 

 

 

 

 

Type1：

在序列参数集中设置一个POC预期值，若POC的值有变化，则只传送相对变化值；序列参数集规定了POC循环的参考帧数目；对于一帧图像，计算POC预期值如下：

1．  计算POC循环数（自最近的IDR图像起）

2．  计算当前图像在POC循环中的位置

3．  计算当前图像POC的预期值

4．  如果是非参考帧，加上offset_for_non_ref_pic

 

TopFieldOrderCount=expected POC+delta_pic_order_cnt[0]

BottomFieldOrderCount=expected POC+delta_pic_order_cnt[1](if field_pic = 1)

                               = expected POC+offset to bottom field+delta_pic_order_cnt[0](otherwise)

例1：

播放顺序：IBPBPBPB…

B帧不作参考帧，一个POC循环中有一个参考帧，offset_for_non_ref_pic=-2，offset to next ref frame=4

 

 

Access Unit

Type

Used for

Reference

Frame_num

delta_pic_order_cnt[0]

topFOC

Display order

1

I

Yes

0

0

0

0

2

P

Yes

1

0

4

2

3

B

No

2

0

2

1

4

P

Yes

2

0

8

4

5

B

No

3

0

6

3

6

P

Yes

3

0

12

6

7

B

No

4

0

10

5

8

P

Yes

4

0

16

8

…

…

 

 

 

 

 

 

 

例2：

播放顺序：IBPBPBPB…

B帧不作参考帧，一个POC循环中有一个参考帧，offset_for_non_ref_pic=-4，offset to next ref frame=6

 

Access Unit

Type

Used for

Reference

Frame_num

delta_pic_order_cnt[0]

topFOC

Display order

1

I

Yes

0

0

0

0

2

P

Yes

1

0

6

3

3

B

No

2

0

2

1

4

P

Yes

2

2

4

2

5

B

No

3

0

12

6

6

P

Yes

3

0

8

1

7

B

No

4

2

10

2

8

P

Yes

4

0

18

9

…

…

 

 

 

 

 

 

 

Type2：

播放顺序与解码顺序相同；POC由frame_num直接得到

if(used for ref)

  set TopPOC and/or BottomPOC to (2*frame_num)

else

set TopPOC and/or BottomPOC to (2*frame_num-1)

 

参考帧重排序

由于在解码每个MB时，都要用到参考帧的索引ref_idx_l0或ref_idx_l1。可能发生这样的情况，有个参考帧（短期参考帧或者长期参考帧）对于解码一个图像特别有用，但是这个参考帧在缺省的队列中并不位于索引值为0的位置，所以编码大的索引值需要花费多的比特。参考帧的重排序可以使这个参考帧位于索引值比较小的位置，以节省编码比特数。

 

 

下面我们以list0的重排序为例来说明

如果ref_pic_list_reordering_flag非0，则进入重排序的循环，直到ref_pic_list_reordering_flag为3时为止。

 

短期参考帧重排序（short-term）：

初始化一个指针refIdxL0使其指向参考帧索引值0，abs_diff_pic_num_minus1是相对于预测参考帧的偏移量，对于第一次重排序操作，预测参考帧就是当前图像，对于后续的重排序操作，预测图像就是最近重排序的图像；

if(reordering_of_pic_nums_idc==0)

  remapped_pic=predicted_pic- abs_diff_pic_num_minus1;

else if(reordering_of_pic_nums_idc==1)

  remapped_pic=predicted_pic+ abs_diff_pic_num_minus1;

else if(reordering_of_pic_nums_idc==2)

  remapped_pic= long_tem_pic_run;

else

  return;

得到remapped_pic后，就将remapped_pic移至索引值为refIdxL0的位置，同时更新refIdxL0，并将后面的图像向后移动一个位置；

 

长期参考帧重排序（long-term）：

  与短期参考帧重排序类似，参见上面流程；

 

例：

 P片，DPB包含5个参考帧，当前帧的frame_num=158，

list0的缺省顺序是：

157，155，153，1，3

初始化predicted_pic=158，refIdxL0=0

1.       reordering_of_pic_nums_idc=0，abs_diff_pic_num_minus1=5

remapped_pic=158-5=153

重排序如下：

153，157，155，1，3

更新remapped_pic=153，refIdxL0=1