关注无深度图的视点绘制技术

深度视频的获取方法很多种，目前深度传感器和深度图像的研究一直受到学术界和工业界的关注。目前，我的几项研究重点在深度视频的编码和用于多视点视频系统的客户端绘制上。

在2014年的CVPR会议的paper中，找到了两篇比较感兴趣的文章：Bayesian ViewSynthesis and Image-Based Rendering Principles和Image-based Synthesis andRe-Synthesis of Viewpoints Guided by 3D Models.可以说，在今年的CVPR中关于深度传感器和深度图像的研究也是一个焦点，当然，关于深度学习的文章自然会是更多的。这两篇文章和我的研究不直接相关，合成视点的方法也不是通过深度图像得到的。但是，提及的绘制的技术还是值得关注的，因此，我对这两篇论文稍作分析，较我常用的基于深度图像的绘制技术有较大的不同。

Bayesian ViewSynthesis and Image-Based Rendering Principles贝叶斯视点合成和基于图像的绘制原理。解决了从输入图像集绘制新的视点的问题。最新的方法有非结构化光亮度，使用结合原始视点的启发式方法(指利用过去的经验，选择已经行之有效的方法，与算法对立，即在有效的搜索空间内，大大减少尝试的数量，能迅速地达到问题的解决)，经常使用显性或者隐性的场景的集合逼近。有使用贝叶斯公式的方法。文章提出了一种基于物理学的模型，和相应的最大后验估计MAP(根据经验数据获得对难以观察的量的点估计,最大后验估计融入了要估计量的先验分布于其中)，实现了一种基于启发式方法和贝叶斯公式的预期的同一。研究的关键点是系统的考虑由几何估计引起的不确定性错误，使用等式解释了启发式方法的发展。

我了解的绘制新视点的技术主要是DIBR技术，这篇文章由于不涉及深度图像，主要解决的是基于图像的绘制(IBR)技术的问题，原理与DIBR技术还是有所不同的。大部分最新的方法使用启发式的方法定义逼近的能量或者目标函数，获得最佳效果。IBR技术的一个主要的突破是定义了任何一个IBR技术都应该有的理想的特性。这个方向仍然在当前最新的算法中占上风。

       目前的贝叶斯技术已经被引入IBR，提供了新的视点绘制的贝叶斯框架，描述基于物理模型的图像形成过程并产生最大后验估计。此外，其中的变分方法(一种近似计算的方法)不仅解决了新视点绘制的问题，也直接解决了新的差分辨率图像合成的问题。同时，提供了一种图像降噪和图像去模糊的一种稳定的框架。至于文章具体是怎样的方法，需要具体看文章。因为我比较感兴趣文章的贝叶斯合成视点的内容，对于合成模型的推理过程还需要慢慢推敲。主要包括理想成像模型如下图，并考虑传感错误和图像错误，图像错误和几何错误的独立，MAP估计和能量的推导，优先选择和优化的过程。