《55.1: Invited Paper: Video, Display and Processing》，译名：视频，显示器与处理

55.1: Invited Paper: Video, Display and Processing

视频，显示器与处理

作者：Michiel A. Klompenhouwer，Gerard de Haan

所属公司：飞利浦产品研发中心（芬兰，埃因霍温）

摘要

        显示器处理系统包含一条完整的视频处理算法的流程，用于将输入的视频转换为特定的显示器输出格式。因此，显示器最终所显示的图像质量，同样是由此链路中的视频处理算法和显示器参数所共同决定的，本文简要阐述了显示器处理系统的相关知识内容。

引言

        显示器系统用于将视频电信号转换为可视的图像展示给观众，例如将视频电压信号转换为可见光信号。该系统通常接收特定格式的视频信号，并且输出用于不同显示器的光信号格式。然而，随着视频格式种类的不断增加，以及新类型显示器的持续引入，如LCD、PDP，使得有效的、高质量的格式转换变得愈发重要，甚至必不可少。

        本文将简述从信号源到显示器整个信号转换处理流程，以及相应的转换算法，主要包括以下内容：

1）显示器参数和格式转换算法决定了最终显示的图像质量。

2）在设计信号处理流程时，充分考虑显示器参数的特别组合，能够进一步增强图像质量。

3）当显示器参数与信号内容格式不匹配时，运动图像可能会出现问题，而运动估计补偿能够减轻该问题。

视频格式和显示器格式

        如图1所示，一个视频处理流程包括了从输入格式到显示器格式所经历的一系列转换，该流程中所涉及到的视频与显示器格式的基本特性，可以划分为两大类：颜色与色调格式，扫描格式。

图1. 视频处理流程

1）从电信号到可见光：颜色与色调格式

      视频信号中包含有所接收到图像的光强度信息，其公式为：。相机的获取过程与显示器的重建过程可以被参数化为一种近似的方式，并被看作为彼此的逆过程。原始场景中的光信息通过相机被转换为视频电信号，而显示器则是将视频电信号再重新转换为光信号。这一过程决定了颜色与色调格式，可以通过三个主要属性描述：电光传递函数，颜色空间和量化。

        电光转换通过电光转换因子来描述：相机端对应为，显示器端对应为。参考CRT（阴极射线管）的实际应用，通常被称为“伽马曲线”（GammaCurve）。在电视发展史中的CRT时代，视频信号会经过CRT显示器的伽马转换进行预校正，以保持显示器的简单性[1]。

        数字图像中的颜色通常使用R/G/B三个分量描述。显示器的基本颜色以三维颜色空间为范围，R/G/B三个分量的坐标用于表示该空间中的各种颜色[2]。视频信号不仅使用RGB颜色空间，还有Y’/C颜色空间。Y’/C颜色空间坐标分别为光亮度（Y’）和色度（C = UV或CbCr）[1]。

        由于数字显示器和数字视频信号的需求，每个颜色分量都需要被量化为指定的灰度等级。这些灰度级也可能被划分为非线性，主要取决于。

2）时空扫描与寻址

        每一个颜色分量都是在三维时空的连续分量。如图2所示，视频信号通过扫描被降维，从而变为一维信号。时空扫描格式的参数描述为：每幅图像的线数、每条扫描线的像素数（同时定义了空间分辨率）、每秒的图像数，以及交错因子（= 1表示逐行扫描，> 1为隔行扫描）。

图2. 连续时间变化的三维图像序列（9线/4帧/交错因子2）通过扫描降维成一维信号

        在显示器中的显示过程刚好是一个反转的过程，此处的扫描通常被称之为寻址。寻址格式会告诉我们，在某一时刻t，收到的视频信号应该显示在显示器的哪个位置上。视频信号是由图像序列所组成，每幅图像由水平/垂直方向的像素数表示。而每秒的图像数（帧率，Frame Rate）决定了时域寻址格式。

        在隔行格式时，空域与时域寻址是混合处理的。为了减少传输带宽，同时保证分辨率不损失，每一帧的扫描线被分成了奇偶场（Even/Odd Field）[3]。因此，隔行格式在传输中是非常有用的，但是并非所有显示器类型均能够适应隔行格式信号。对于CRT显示器，隔行方式能够增加给定带宽下的分辨率。但是由于矩阵式显示器（LCD，PDP）均具有固定的空间寻址格式（逐行格式，Progressive），就无法直接显示隔行格式信号（Interlace）。

视频和显示器处理

        对于规定的视频和显示器格式，无论信号源格式和显示器格式有何不同，中间的处理转换过程是必不可少的。图1展示了一个由PAL信号到PDP显示器的处理流程。

        当显示器和信号源具有较多相匹配的参数时，转换处理流程也是比较简单的。CRT显示器能够适用于广播范围的寻址格式，而矩阵式显示器则不行。因此，矩阵式显示器系统不得不包含至少最简单版本的转换处理部分。

        对于每种类型的转换算法都会有不同的质量和成本差异[4]。此处，仅仅简要介绍几种前文所提到的转换算法。

        电光传输转换，或称伽马校正，是一种非线性的点对点运算，通常使用查找表（LUT）实现。如果不进行伽马校正，将会导致中间色调的显示出现错误，特别是在图像中过亮或者过暗的区域。

        颜色空间转换是通过一个3*3的矩阵实现三维颜色空间的分量基础的变化。转换时，需要注意不同原色之间的变化，例如从相机到显示器，用于运算的是线性光信号，其来自或朝向Y’/C的转换通常被定义在伽马校正的基础上[2]。

        最简单的量化形式是采用最近值法，以便于得到最接近的可用灰度级。当灰度级数目下降时，可能会导致“contouring”问题。而“halftoning”方法[5]作为众多复杂量化技术中的一种，能够有效地减少这些问题的出现，如图3所示。

图3. 低灰阶数目的转换。左边：低质量的量化，右边：高质量的误差扩散法

        空间缩放，或采样率变换，可以通过改变空间寻址格式实现，需要使用到一维或者二维的滤波器，以及抽取和插值。使用多相滤波器是一种有效并且高质量的实现方式[4]，如图4所示。由于矩阵显示器具有固定的空间寻址格式，因此缩放技术是此种显示器处理系统的的一个基本功能。

图4. 对于低分辨率空间寻址格式的缩放转换。左边：低质量缩放（像素丢弃法），右边：高质量缩放（多相滤波法）。

        帧率转换是采样率转换的时域格式，其与空域采样是完全不同的。时域格式的变化可能会导致运动目标出现问题，如图5所示。运动估计补偿用于改善计算出来的帧画面的图像质量[4]。

        交错因子的改变，例如从隔行格式到逐行格式转换的去隔行技术。由于矩阵式显示器几乎都是采用逐行格式，因此，在任何的显示器处理系统中，去隔行技术都是一个关键功能。对于隔行信号而言，高质量的垂直缩放是不可能实现的，因此必须使用去隔行算法。对于去隔行算法的挑战在于如何填充每场中所缺失的扫描线。最简单的方法是复制其周边扫描线或者场（Field）的像素点，但是这将会在运动目标上产生严重的“staircase”或者“feathering”问题，如图5所示。而更高级的方法是能够适应运动或者具有边缘导向性，最好的方法是使用运动估计补偿来预测缺失的扫描线[3]。

图5. 时域寻址和交错格式转换所导致的问题。a）原图像，b）低质量的帧率增加（帧叠加），c）d）低质量的去隔行算法所导致的线叠加和场叠加。

当时域格式不同时，问题会更加严重，例如显示器在错误的时间重建亮度。

        尽管图像质量主要取决于显示器的属性，比如对比度、色域、分辨率等，但是格式转换流程对于最终的图像质量也具有同样重要的作用。

显示器特殊处理

        实际应用中，显示器处理流程无法如上所述被分解成各个功能块。并且可能会需要特别关注显示器的特殊参数组合，甚至使用特殊的处理算法，为此下文将会举例说明。

1）颜色与寻址

        在矩阵显示器中，通常不会在同一时间点和空间点生成单独的基本色。常用的颜色合成方法包括：空域颜色混合和时域颜色混合。

        在空域颜色混合中，每个像素均由三个位于不同位置的独立的颜色分量（子像素）组成。子像素可以通过滤色片（LCDs）或者不同的荧光粉层（PDP）来实现。在一定的观看距离或者分辨率下，人眼无法分辨出单独的子像素，借此可以认为它们混合成了一种可视的颜色。然而，此方法会同时混合空间位置和颜色空间。在亚像素尺度变换中，每一种基本色都有不同的采样网格[6]。忽视不同的采样位置，将会导致颜色的错位，例如收敛错误。由于子像素的尺度变换补偿，将会导致轻微的颜色错误或者锯齿边缘。因为每个子像素都能够为一个更高的分辨率图像的亮度有所贡献，所以亚像素尺度变换实际上能够增加显示器的感观分辨率，如图6所示。然而，由于颜色分量会采用不同的采样网格，亚像素尺度变换也会引入“aliasing”问题，这要比收敛错误（“convergence”）更加严重。因此，必须小心地设计尺度变换滤波器，以便于在分辨率与颜色“aliasing”之间进行优化与平衡。

图6. 针对“delta-nabla”显示器的尺度变换。左图：不考虑子像素位置，右图：考虑

        时域颜色混合，也被称作颜色连续显示，使用分离的红/绿/蓝的子帧序列，如图7所示。当子帧率足够高的时候，人眼就会无法分辨出单独的子帧，从而表现为一种颜色。此时，时域寻址和颜色空间被混合在一起。考虑到帧率转换，当空间尺度变换时，每种基本色都具有不同的时域采样网格，以降低问题的出现。问题往往在时域位置不匹配时发生，例如，当人眼相对于显示器移动时，或者人眼追踪移动目标时，问题就会发生。

        亮度重建的原则很好理解，比如[7]中提到的，在不同的时刻或者显示器的时域特性与信号源格式不同的地方需要重建亮度，这对于所有显示器都是重要的。在后续章节，将会使用颜色序列的例子来进一步解释这一原则。[8]中在频域做出了一个相似的解释，并且[9]中有更多的例子。

图7. 移动目标的颜色序列显示：从人眼看来，时间偏移的子帧变成了空间偏移的子帧。左图：时空域分布图，右图：感观图像

2）运动问题与时域寻址

        一个垂直移动目标的光强度通常由下列公式计算而得，

       

        为了清楚地查看图像，观看者追踪运动目标时，计算公式演变为，

        

        这一行为在真实场景中或者理想显示器中是没有问题的，但是不包括颜色序列显示器。因为颜色子帧会以三分之一帧周期产生偏移，

        

        当运动目标被观看者所追踪时，视网膜的结果图像会出现问题，如图7右上半部分所示，

        

        三个独立的子帧不会在同一个位置被看见，但是会产生偏移。如果目标在给定的时间显示在正确的位置，人眼追踪到的画面便是正确的，如图7右下半部分所示。

        这些与运动相关的问题十分常见。对于运动图像，任何具有与输入视频信号不同的时域寻址格式的显示器都会存在问题。因此，无论是通过改变显示器，还是应用运动估计补偿来转换视频，必须使差异最小化，从而在时空域中正确地显示运动目标。

        一个罕见的案例会出现在PDP显示器上面。由于PDP使用带有不同光强度的子帧生成灰度值，因此会有时域寻址与电光效应的混合。当人眼移动时，这些子帧将会发生空间位置的移动，从而导致令人烦恼的“contouring”问题，如图8所示。通过改变显示器，可以减轻该问题，比如改变子帧的分布。另一种替代方案是使用子帧的运动补偿技术[10]。由于子帧像素可能会以非整数位置的形式存在，因此无法仅仅简单地偏移子帧到期望位置，而是必须使用算法来计算每一个子帧中的每个子像素的合适位置。

图8. PDP显示器中的移动目标：从人眼看来，时域偏移的子帧变成了空域偏移的子帧，从而导致“contouring”问题。左图：时空域分布图，右图：感观图像

3）时空光阑

        之前介绍的寻址格式是关于扫描视频信号的离散特性。在电光转换之后，我们已经得到了一个物理光射线。它是非离散的：射线扩展的范围更大，而非只是采样点。实际上，对于好的源图像重构而言，像素不应该是无穷小的，像素结构应该是在平场区域可见的。但是如果像素太大将会降低分辨率。像素孔径、空域寻址格式和颜色子像素排列[6]，定义了一个空域调制传递函数（MTF）。该MTF是对于有效分辨率的测量，比如显示器能够重现的细节等级。

        在时域中，光射线也不可能是无穷小的（尽管CRT是比较接近的），并且像空域中的案例一样，时域孔径同样定义了一个时域MTF。当帧率低于某个门限时，时域孔径将会起到避免抖动的作用[8]。另一方面，它们将尽可能小，以便于重现锐利的移动图像[7,8,9,11,12]，如图9所示。

        当显示器在非预计的时间进行光强度重建时，对于运动目标也将会出现问题。在这种情况下，纯粹的时域孔径会转变为空域孔径，比如低通滤波器，从而在运动目标的速度增加时引起模糊（“blurring”）。

        依靠减少时域孔径的范围可以减轻这种运动模糊[11]。然而，由于采样孔径会保持不变，为了更进一步的效果改善，需要更多的处理方法，例如扫描背光[7,12]。同样，通过使用运动估计补偿（MEMC）：“运动补偿反向滤波”[8,11]，也可以达到校正孔径的效果。

        严格意义上讲，这并不是格式转换，而是一种显示器处理形式，用于进行时域孔径校正，并且能够明显地增加图像质量。

图9. LCD显示器中的运动目标：从人眼看来，时域孔径变成了空域孔径，从而导致运动模糊。左图：时空域分布图，右图：感观图像

结论

        最终的图像质量取决于显示器的特性与视频和显示器处理流程中所使用的格式转换算法。在设计这些算法时，通过结合显示器的特性，可以进一步提升图像质量。尤其是，当显示器和信号源的时域特性不同时，对于运动图像将会出现的问题，可以通过应用运动估计补偿技术加以改善。

        因此，显示器技术的发展与信号处理技术的发展是密不可分的。显示器原理与相应的信号处理技术相结合，将是研发终极显示系统的一剂良方。

参考文献

[1]C. Poynton, .Digital Video and HDTV:algorithms and interfaces., Morgan Kaufmann, San Fransisco, 2003

[2]G.Wyszecki, W.Stiles, .Color science.,J.Wiley&sons, 2000.

[3]G. de Haan, E. Bellers, .Deinterlacing . anoverview., Proc.of the IEEE 86(9), pp. 1839.1857, 1998..

[4]G. de Haan, .Large-display video formatconversion., J. SID8(1), pp. 79.87, 2000.

[5]R. Ulichney, .Dithering with blue noise.,Proc. IEEE 76(2), pp. 56.79, 1988.

[6]M. Klompenhouwer, G. de Haan, .Subpixel imagescaling for color matrix displays., J.SID 11(1), pp. 99.108, 2003.

[7]Y. Shimodaira, .Fundamental phenomenaunderlying artifacts induced by image motion and the solutions for decreasingthe artifacts on FPDs., SID 2003 Digest, pp. 1034.1037

[8]M. Klompenhouwer, L. Velthoven, .Motion blur reductionfor liquid crystal displays: Motion compensated inverse filtering., proc. SPIE,VCIP 2004, pp. 690.699.

[9]G. de Haan, M. Klompenhouwer, .Flaws inemerging television dis-plays and remedial processing., IEEE tr.on. CE, 47(3),p. 326.334, 2001.

[10]M. Klompenhouwer, G. de Haan, .Optimallyreducing motion

artifactsin plasma displays., SID 2000 Digest, pp. 388-391

[11]M. Klompenhouwer, L. Velthoven, .LCD MotionBlur Reduction with Motion Compensated Inverse Filtering., SID 2004 Digest,paper 48.1

[12]N. Fisekovic, .Improved motion picture qualityof AM-LCDs using scanning backlight., IDW 2001, pp. 1637.1640.