【深度相机系列一】iPhone X的原深感相机到底是个什么玩意？

本文已经首发在个人微信公共号：计算机视觉life（微信号CV_life），欢迎关注！

9月13日苹果发布了致敬十周年的新机型iPhone X，其中前置原深感（TrueDepth）相机引起了极大的舆论关注。该相机的构成如下图所示。从左到右，依次是红外镜头、泛光感应元件、距离传感器、环境光传感器、扬声器、麦克风、700万像素摄像头、点阵投影器。其中最有里程碑意义的当属红外镜头 + 点阵投影器 + RGB摄像头的组合。后面会具体解释原因。

iPhone X 前置原深感相机

据苹果官方介绍，iPhoneX通过前置点阵投影器将超过30000个肉眼不可见的光点投影到人脸，再根据红外镜头接收到的反射光点，就可以计算得到人脸深度图。 RGB摄像头拍摄的2D人脸结合计算的深度人脸信息，经过算法处理就可以绘制出精确细致的3D人脸。该技术安全性极高，可以轻松的识别出普通RGB相机难以处理的利用打印照片、软件合成、面具等进行的人脸识别攻击，可以安全方便的进行人脸活体检测。该技术用于iPhone的人脸解锁方案，称为FaceID，是iPhone X最重要的新功能之一。

点阵投影在人脸上的示意图

（其实投影的是人眼不可见的红外光，这里只是示意图）

在3D人脸模型的基础上，苹果除了推出FaceID，还衍生出了艺术自拍、人像光效、动画表情等一系列实用有趣的玩法。

iPhone X的“动画表情”功能示意图

作为手机行业的先驱者，苹果的3D人脸技术带来的这些突破性的玩法将给消费者市场带来巨大的变化，随之而来的是安卓手机厂商的追随，这将会迎来3D技术在手机等移动终端的爆发。

其实，苹果的“原深感相机”中的“红外镜头 + 点阵投影器 + RGB摄像头”的组合本质上就是一种基于结构光技术深度相机。那么，什么是深度相机呢？

顾名思义，深度相机就是可以获取场景中物体距离摄像头物理距离的相机。深度相机通常由多种镜头和光学传感器组成，根据测量原理不同，主流的深度相机一般分为以下几种方法：飞行时间法、结构光法、双目立体视觉法。

飞行时间是从Time of Flight直译过来的，简称TOF。其测距原理是通过连续发射经过调制的特定频率的光脉冲（一般为不可见光）到被观测物体上，然后接收从物体反射回去的光脉冲，通过探测光脉冲的飞行（往返）时间来计算被测物体离相机的距离。

飞行时间法原理示意图

结构光法就是使用提前设计好的具有特殊结构的图案（比如离散光斑、条纹光、编码结构光等），将图案投影到三维空间物体表面上，使用另外一个相机观察在三维物理表面成像的畸变情况。如果结构光图案投影在该物体表面是一个平面，那么观察到的成像中结构光的图案就和投影的图案类似，没有变形，只是根据距离远近产生一定的尺度变化。但是，如果物体表面不是平面，那么观察到的结构光图案就会因为物体表面不同的几何形状而产生不同的扭曲变形，而且根据距离的不同而不同，根据已知的结构光图案及观察到的变形，就能根据算法计算被测物的三维形状及深度信息。

结构光法原理示意图

双目立体视觉法的原理和人眼类似，通过计算空间中同一个物体在两个相机成像的视差就可以根据如下三角关系计算得到物体离相机的距离。

双目立体视觉原理示意图

目前消费市场上常见的深度相机主要包括微软的Kinect系列、华硕的Xtion、Intel的Realsense系列等。深度相机在三维建模、自然人机交互（手势/人脸识别）、AR/VR、自动驾驶等领域有非常广泛的应用。但是由于技术的限制，深度相机很难做到体积非常有限、功耗要求低的手机上。因此iPhone X此次发布的基于结构光技术的深度相机意义重大。

部分消费级深度相机产品

事实上，iPhoneX并非是第一个将深度相机应用到手机上的，2016年Google和联想就合作推出了全球第一个搭载Project Tango技术的手机Phab2 Pro，该手机的深度相机采用英飞凌的TOF方案。从原理上来说，iPhone X的结构光方案比Phab2 Pro TOF方案来说具有功耗低，分辨率及精度高等优点。这些优势对于在移动设备上实现生物特征识别来说意义重大。

其实早在iPhone X发布之前，安卓阵营的手机厂商、模组厂商、算法供应商等产业链也都一直在全力追逐苹果的步伐，在深度相机上进行持续的研发投入。预计今年底到明年，我们将会看到更多搭载了深度相机的手机出现，而基于3D技术的移动端应用很可能会在VR/AR、三维建模、手势识别等领域率先爆发，让我们一起拭目以待。

本公众号后续将推出一系列关于深度相机原理和技术应用的文章，敬请关注。