FGS 视频均等质量流化算法

FGS 视频均等质量流化算法梅 峥 宁 华 李锦涛 (中国科学院计算技术研究所, 中国科学院研究生院, 北京 100080)E-mail: [e-mail]摘 要 细 粒 度 扩 展 编 码 FGS : ( 由 Fine-Granularity-Scalability ) 于 具 有 很 强 的 灵 活 性 和 较 好 的 视 频 流 化 性 能 已 经 被 论文在相关研究的基础上, 采用了基于滑动窗口的算法来进行 FGS 视频的均等质量流 MPEG-4 和 H.26L 等标准所采用. 使用二分法对当前窗口中的所有帧进行速率分配.实验表明, 该算法可以较好地实现 化.该算法通过 FGS 的失真模型, 速率的优化分配, 使连续图像质量的变化更加平滑. 关键词MPEG-4细粒度扩展均等质量失真模型 文献标识码 A 中图分类号 TP391文章编号 1002-8331- 2004 ) ( 22-0032-02An Algorithm for Equal-Quality FGS Video StreamingMei Zheng Ning Hua Li Jintao (Institute of Computing Technology , Chinese Academy of Sciences, Graduate School of the Chinese Academy of Sciences, Beijing 100080), Abstract: Fine-Granularity-Scalability (FGS ) which can provide flexibility and good performance for video streaming,has been accepted in MPEG-4 and H.26L.On the basis of related work, paper proposes a algorithm based on slidthis ing window for FGS equal-quality streaming.The algorithm uses bisection method to allocate bandwidth to the frames in the current window by virtue of R-D model of FGS.The experiments show that the algorithm can realize the bandwidth allocation effectively and smooth variation of video quality. Keywords: MPEG-4 , Fine-Granularity-Scalability , equal-quality , R-D model1引言网络视频流化应用对带宽, 延迟和丢包率都提出了较高的相匹配. 转码编码针对非实时的应用, 主要是通过部分的解码和重 新编码生成新的码流.与自适应编码类似, 转码编码可以在重 新编码过程中调节量化参数,也可以通过采用丢弃 DCT 高 频 系数等技术来调整码率. 扩展编码是传统编码提供的一种分层编码技术,如:要求.虽然近几年网络技术的进步使传输质量得到了提高, 但 的 是当前的网络尤其是 Internet 只能提供尽力型 (Best-effort) 传输服务, 不能保证数据传输服务的可靠性和稳定性.在数据 传输过程中网络带宽,丢包率和延迟往往是随时间动态变化 的, 而且波动很大.这些因素都使网络视频应用的普及和推广 遇到了不少的麻烦, 因此如何解决这些问题也就成为网络视频 的重要研究内容之一. 传统的视频编码主要是针对如何在给定速率的条件下有 效地压缩数据,压缩码流形成后一般都具有恒定的平均速率; 而 Internet 网 络 状 态 的 不 稳 定 性 给 传 统 视 频 编 码 的 传 输 带 来 了很大的挑战, 尤其是带宽资源的不足往往成为网络视频应用 的瓶颈.如果不使用额外的技术, 通常很难改变传统视频编码 的传输速率.为了适应传输带宽的变化, 可以采用相关的技术 改变码流的传输速率, 通常的方法包括: 自适应编码, 转码编码 和扩展编码 .[1]MPEG-2 中的 SNR 扩展编码. 扩 展 编 码 中 码 流 由 一 个 基 本 层和若干个增强层组成.基本层可以独立解码, 而增强层的解码 必须依赖基本层.由于扩展编码将码流分为若干层, 因此每一 层编码的平均码率比较小. 接收端在接收数据时可以根据当前 的网络状态通过改变接收的层数来适应带宽的变化. 接收的层 数越多, 解码质量越好. 虽然以上这些技术一定程度上可以适应网络带宽的变化, 但是他们或多或少都存在一定的缺点.比如: 自适应编码和转 码编码需要有较小的网络延迟, 同时发送端要有较强的处理能 力.对于扩展编码, 可以通过改变接收码流的层数来适应带宽 但往往会造成视频质量抖动过大; 另外, 若当前的网络 的变化, 带宽可以传输前面的层数据并略有剩余,当再加入一层时, 会 超过当前的网络容量.因此接收端只能放弃接收更多的数据, 这就造成了带宽的浪费. 综合以上分析, 了更好地适应网络带宽的变化, 该需 为 应 要一种新的编码技术, 具有很强的灵活性, 够充分利用带 它 能自适应编码主要应用于实时的视频应用中, 它通过动态调 节量化参数来调整码率.接收端在接收数据的同时, 检测网络 状态信息,并通过相关的控制协议将这些信息反馈到发送端; 发送端根据反馈的网络状态信息计算出当前的可用带宽, 同时 调整视频压缩的量化参数, 使产生视频编码的速率与可用带宽基金项目: 国家 863 高技术研究发展计划计算机软硬件技术主题重点课题 - 智能化网络访问终端系统 (编号: 资助 2001AA110342 ) 作者简介: (1975- ) 男, 梅峥 , 博士研究生, 研究方向为多媒体技术. (1975- ) 女, 宁华 , 博士, 研究方向为多媒体技术, 并行计算, 李锦涛 Petri 网理论. (1962- ) 男, , 研究员, 博士生导师, 研究方向为多媒体技术, 虚拟现实技术.322004.22 计算机工程与应用图1FGS 流化传输宽同时使视频质量的抖动更加平滑. 细粒度扩展编码正是这样 一种技术.论文主要研究如何等质 量 流 化 使 用 FGS 编 码 的 视 频节目, 论文组织如下: 第二节首先介绍 FGS 编码和 FGS 失真 模型; 第三节介绍均等质量流化算法; 第四节为实验; 第五节总 结全文.( =ε D R i) 2σx 222-2R i(1 )其 中 , x 是 变 量 Xi 的 方 差 ,2 由 编 码 类 型 以 及 Xi 的 概 率 σ ε 分布决定.2 FGS 编码 2.1 FGS 简介FGS 是 MPEG-4 标准中使用的一种新的编码方式, FGS 将码 一 个 视 频 节 目 编 码 为 两 个 码 流 : 本 层 Base Layer) 流 和 增 基 ( 码 强 层 Enhancement Layer) 流 . 基 本 层 码 流 提 供 基 本 的 图 象 ( 解码质量, 增强层码流用于提高基本层的质量.与非扩展编码 相同,基本层码流采用帧间预测和运动补偿技术进行编码, 基 本层码流解码后和原始视频数据之间的残差值经过 DCT 变换 后形成了增强层的数据.为了实现细粒度的速率调整, 增强层 技 即 每 采 用 了 位 平 面 Bit-plane ) 术 [2] 对 DCT 系 数 进 行 编 码 , : ( 个宏块所有 DCT 系数的二进制数值中相同位置的比特形成一 增强层编码时按照位平面从上到下的顺序对每一个 个位平面, 平面进行传统的熵编码 [2]. FGS 的一个重要特征是每一帧的增 强层码流可以在任意地点截断,因此与传统的可扩展编码不 同, 传统的可扩展编码, 要么传 FGS 可以更加有效地利用带宽. 送一个完整的数据层, 要么不传; 但是 在 FGS 中 允 许 在 增 强 层 的任意地方将码流截断, 此当网络带宽不足时, 以根据带 因 可 宽动态对 FGS 编码进行裁减.通过这种方式, FGS 实现了以比 使视频解码质量的变化更加平滑.假 特为单位调节发送速率, 而加入增强层后码流的速率 设 FGS 编码的基本层速率为 R base , 所 为 R en, 以 FGS 编 码 的 速 率 调 节 范 围 在 R range =[R base , en] 之 间 . R 在传输时, 网络带宽应该至少满足基本层码流的要求 . 如 图 1 表示了传输 FGS 编码的一个例子. 图 1 中图 a ) ( 是传输前的码流; (b ) 图 是传输过程中对 FGS 增强层码流进行裁减的情况, 图中灰色的部分代表实际传输的 增 强 层 数 据 ; (c ) 最 后 接 收 端 实 际 接 收 到 的 基 本 层 和 增 强 图 是 层的数据. 文献 [3] 和 [4] 同时指出, 对于 FGS 编码可以用公 式 1 ) 计 ( 来 算对增强层的速率进行裁减后视频的失真情况. 但是文献 [3]的 研 究 表 明 公 式 1 ) 不 能 很 好 地 描 述 FGS 编 码 裁 减 后 的 R-D ( 并 关系,若码流截断的地点正好位于一个完整的位平面的结尾, 若 公 式 1) 以 精 确 地 计 算 失 真 ; 流 截 断 的 地 点 落 在 某 个 位 平 ( 可 面内部, (1 ) 公式 的结果有一定的误差. 为此文献 [3]中提出了一种分段线性插值的方法来描述 R记录当 D 模型.假设 FGS 编码的增强层数据有 NBP 个位平面, 码 流 截 断 地 点 位 于 各 完 整 位 平 面 结 尾 时 的 失 真 D R i) 1≤i≤ ( ( , 可 NBP) 则 当 在 码 率 为 R 处 截 断 码 流 , 以 采 用 线 性 插 值 来 计 算 失真, 如下所示: ( D R m ) (R n ) -D (R-R m ) (2 ) ΔR 表示 发 送 速 率 为 R 时 的 失 真 , m, n 表 示 码 流 其中 D(R ) R R L图2FGS / FGST 编码D(R ) (R m) =D L截断地点分别位于两个相邻位平面结尾处的码率,且满足R m≤R≤R n, ΔR=R n-R m.3均等质量流化算法通过对人类视觉感官的研究表明, 当连续播放图象质量平滑变化时视觉效果最好, 因此应该在流化过程中使连续播放图 象质量的波动尽可能小.即有下式成立:N-2FGS 编 码 也 可 以 和 时 域 可 扩 展 相 结 合 形 成 FGST (Fine编码, 如图 2 所示. Granular Scalability Temporal)-D ( ξ=min∑ D(R i ) i+1 R i+1 ) ii=0(3 )2.2FGS 编码 R-D 模型信息论中的相关研究表明, R-D 模 型 可 以 用 于 描 述 编 码其中, 表示视频序列中相邻两帧的质量波动之和, 代 ξ N 表当前发送序列的帧数. 论 文 主 要 是 在 文 献 [3] 研 究 的 基 础 上 提 出 了 一 种 基 于 二 分 法的等质量流化算法.该方法使用了滑动窗口策略, 通过二分 法对在当前窗口中的所有帧寻找合适的速率分配方案, 使得当 (下转 41 页) 计算机工程与应用 2004.22可 的速率与失真度之间的 关 系 . 文 献 [3], 和 [5] 中 指 出 , 将 某 [4] 一帧 i 的 DCT 系数看成一个随机变量 X i.通常认为 X i 服从高 斯分布并且均值为零,则其 R-D 失真模型可以写成以下指数 函数的形式:3315.G Diehr.Evaluation of a Branch and Bound Algorithm for Clustering[J].SIAM J Scistatist Comput 6 , 1985 : 268～284 16.O du Merle , Hansen , Jaumard et al.An Interior Point Algorithm P B for Minimum Sum of Squares Clustering.Les Cahiers du GERAD G97-53 , Montreal , Canada , 1997 17.J-L Goffin , Haurie , A J-P Vial.Decomposition and Nondifferentiable 1992 ; : 38 Optimization with the Projective Algorithm[J].Mgmt Sci ,284～302 18.H R Lourenco , Martin , STUTZLE.Iterated Local Search[C].In : O T F Glover , Kochenberger eds.Handbook of Metaheuristics , G Kluwer Academic Publishers, Norwell , , MA 2002 : 321～353 19 . TSP Library . WWW. iwr . uni - heidelberg . de / iwr / comopt / soft ware / TSPLIB95(上接 33 页) 在 前窗口内所有帧的质量基本相等.与 [3]不同的是, [3]中滑动 窗口每发送一帧向前滑动一帧, 后重新分配速率; 在文中 然 而 是发送窗口内的全部帧,然后滑动一个窗口的长度再重新计 算.当然, 文中的速率分配算法也可以用于 [3]中的滑动方式. 假设窗口的大小为 W ,而每一帧的发送速率范围为: range R (i) base i) R en i) 0≤i≤W -1 ) 同 时 令 R i D ) 示 某 帧 i 在 ; ( 表 =[R ( , ( ( ] 当前窗口的可用速率为 rcur. 失真为 D 时的发送速率, 流化算法如下: 若 计 步 1: 只 发 送 基 本 层 , 算 当 前 窗 口 中 所 有 帧 的 最 小 失 真 Dmax. 若 计 步 2: 发 送 全 部 增 强 层 数 据 , 算 当 前 窗 口 中 所 有 帧 的 最大失真 Dmin. 步 3 : D= 令W -1在算法中参数 W 的取值对视频流化的结果有一定的影 流化的质量越平滑; 反之, 质量变化越大.图 当 响, W 越大时, 其中参数 W 的取值为 20 . 从图 4 中可 4 重复了图 3 中的实验, 当窗口尺寸增大时, 视频流化的质量更加平滑. 以看出,Dmax +Dmin , 并根据公式 2 ) ( 计算 R=∑R i D ) ( . 2 i=0图4若 返回步骤 3 . 步 4 : RR cur+α , min =D , 若 返回步骤 3 . D 步 6: 否则, 程序结束. 这 ( 计 步骤 4 和 5 中 α 是 松 弛 因 子 , 是 由 于 使 用 公 式 2 ) 算 出的结果可能不是整数,而 FGS 编码 是 以 整 数 比 特 为 单 位 进 寻找最优的分 行速率调整; 另外由于各帧的 R-D 模型不一样, 配方案可能会使用较多的时间, 从而影响算法的效率.因此为 了避免这些问题, 通过加入松弛因子来放松约束条件.W =20 R=200从以上两个实验可以看出 , 文 中 的 算 法 可 以 实 现 FGS 编 码的等质量流化, 平均码率分配算法相比, 个序列播放质 与 整 量的变化更为平滑, 这就说明该算法是有效的.5总结细粒度扩展编码由于其灵活性和出色的流化性能已经成4实验实 验 采 用 的 测 试 序 列 为 Coastguard , 分 辨 率 为 352*288为国际标准的一部分.论文采用了基于滑动窗口和二分法的 该算法可以找到较好 FGS 视频均等质量流化算法.实验表明, 的速率分配方案, 过调整窗口中每一帧的发送速率, 连续 通 使 图像质量的变化更加平滑. (收稿日期: 2004 年 4 月)(CIF) 总共 100 帧, , 基本层的帧率为 10 帧 / 秒 , 用 TM5 控 制 采 作 算 法 , 率 为 64kbps . 为 了 说 明 算 法 的 有 效 性 , 者 进 行 了 速 对 比 实 验 .对 比 实 验 采 用 了 平 均 码 率 分 配 算 法 Uniform bit ( , 当前窗口中的所有帧平均分配可用带宽.另外, allocation) 即: 定义滑动窗口的大小为 10 , 松弛因子 α 为 300 .图 3 是在网络 传输速率为 1Mbps 时两种算法的实验结果.参考文献1.D Wu , T Hou , Y Y-Q Zhang.Transporting real-time video over the Internet challenges and approaches[J].Proceedings of the IEEE , 2000 ;( : 88 12 ) 1855～18752.Fine granularity scalable , MPEG4 Standards[S].ISO / IEC JTC 1 / SC 29 / WG 11 ISO / IEC JTC1 / SC 29 / WG 11 N3518 , Beijing , 2000-07 3.X Zhang, Vetro, Shi et al.Constant Quality Constrained Rate AlA Y Visual Communicalocation for FGS Video Coded Bitstreams[C].In : Proceedings of SPIE, 2002; 4671: 817～827 tions and Image Processing, 4.Q Wang , Xiong , Wu et al.Optimal rate allocation for progressive Z F fine granularity scalable video coding[J].IEEE Signal Processing Let( : ters , 2002 ; 2 ) 33～39 95.M Dai , Loguinov.Analysis of Rate-Distortion Functions and ConD gestion Control in Scalable Internet Video Streaming.ACM NOSS图32003-06 DAV , W=10 R=200计算机工程与应用 2004.2241