模型基图像编码

1、模型基图像编码概述

 是一种基于图像三维模型的方法，其中通信双方有一个相同的景物的三维模型，基于这个模型，在编码器中用图像分析（摄入图像和模型图像的参数差值）提取景物的参数，例如形状参数、运动参数等。景物的这些参数被编码后通过信道传输到接收端，由后者的解码器根据接收到的参数用图像合成技术来重建图像。

2、模型基图像编码可粗略分类

2.1 语义基图像编码

2.2 物体基图像编码

3、语义基图像编码

（1）概念

基于限定景物的模型基图像编码，其中景物中的物体的三维模型是严格已知的。

（2）在可视通话中的应用

       在开始通信时，先把通信双方的基本特征（如三维模型、脸部的表面纹理等）传输到对方。（人物头脸部（及肩部）的三维模型的建立）

       接着头部开始运动并伴随着各种不同的表情。这时在发送端需要抽取头部的运动参数和脸部的表情参数。将这些参数编码后再传输到对方。（运动参数和表情参数的估值）

       在接收端用已知的三维模型和接收到的各种参数，用图像合成技术获得重建图像。

（图像合成技术）

（3）关键技术分析

 （3.1）人物头脸部的三维模型

人脸形状的模型和脸部表情的模型

（3.2）三维运动估计

头部的刚体运动和脸部的表情变化

处理脸部表情的非刚体运动算法：运动跟踪算法

（3.3）图像合成技术

利用纹理映射技术

4、物体基图像编码

（1）概念

对未知物体的模型基图像编码，需要实时构造物体的模型。按照景物中物体形状进行分割。对于每个分割出的物体，用三个参数（运动集A，形状集M和色彩集S）进行描述，然后再对这三个参数集进行编码和传输。

（2）关键技术

（2.1）景物的分层次描述

将景物分割成不同的区域。例如将非刚性体（脸部表情）分解成许多刚性分量，然后描述各个分量的运动。

（2.2）运动估值

三维运动估值

（2.3）运动分割

帧间进行运动分割和帧内进行轮廓分割相结合

*红色标注部分会在以后的文章中逐步解析