对极几何原理

来源：互联网发布：南京网博java培训费用编辑：程序博客网时间：2024/04/30 12:28

一. 对极几何基本概念

对极几何（Epipolar Geometry）描述的是两幅视图之间的内在射影关系，与外部场景无关，只依赖于摄像机内参数和这两幅试图之间的的相对姿态。

1. 基线（baseline）：直线CC'为基线。

2. 对极平面束（epipolar pencil）：以基线为轴的平面束。

3. 对极平面（epipolar plane）：任何包含基线的平面都称为对极平面。

4. 对极点（epipole）：摄像机的基线与每幅图像的交点。比如，上图中的点e和e'。

5. 对极线（epipolar line）：对极平面与图像的交线。比如，上图中的直线l和l'。

6. 5点共面：点x，x'，摄像机中心C、C'，空间点X是5点共面的。

7. 极线约束：两极线上点的对应关系。

说明：直线l是对应于点x'的极线，直线l'是对应于点x的极线。极线约束是指点x'一定在对应于x的极线l'上，点x一定在对应于x'的极线l上。

二. 对极几何原理

1. 理想模型

假设两个相机的内部参数一致，比如焦距、镜头等，为了数学描述的方便，需引入坐标，由于坐标是人为引入的，因此客观世界中的事物可以处于不同的坐标系中。假设两个相机的X轴方向一致，像平面重叠，坐标系以左相机为准，右相机相对于左相机是简单的平移，用坐标表示为(Tx,0,0)。如下所示：

在左右相机中像平面像点的坐标，如下所示：

$x_{l}=f\frac{X}{Z},y_{l}=f\frac{Y}{Z}$

$x_{r}=f\frac{X-T_{x}}{Z},y_{r}=f\frac{Y}{Z}$

$d=x_{l}-x_{r}=f\frac{X}{Z}-(f\frac{X}{Z}-f\frac{T_{x}}{Z})=f\frac{T_{x}}{Z}$

综上可知，深度Z和视差d成反比，这也是为什么近的物体看起来比远的物体移动的快。

2. 实际模型

更一般的立体成像关系是两个相机的坐标无任何约束关系，相机的内部参数可能不同，甚至是未知的。要刻画这种情

况下的两幅图像之间的对应关系，需要引入两个重要的概念：本征矩阵E和基本矩阵F。本征矩阵E包含物理空间中两个摄像机相关的旋转和平移信息，基础矩阵F除了包含E的信息外，还包含两个摄像机的内参数。本征矩阵E将左摄像机观测到的点的物理坐标与右摄像机观测到的相同点的位置关联起来。基础矩阵F则是将一台摄像机的像平面上的点在图像坐标（像素）上的坐标和另一台摄像机的像平面上的点关联起来。

（1）本质矩阵E

本质矩阵E的推导过程，如下所示：

$P_{r}=R(P_{l}-T)$ ， $P_{l}-T=R^{-1}P_{r}=R^{T}P_{r}$ （R是正交矩阵）， $(P_{l}-T)^{T}\cdot T\times P_{l}=0$ ， $(R^{T}P_{r})^{T}\cdot T\times P_{l}=0$ ，

$(P_{r}^{T}R)\cdot T\times P_{l}=0$

$T\times P_{l}=\begin{vmatrix} i & j & k\\ T_{x} & T_{y} & T_{z}\\ P_{lx} & P_{ly} & P_{lz} \end{vmatrix}$

$T\times P_{l}=(T_{y}P_{lz}-T_{z}P_{ly})i+(T_{z}P_{lx}-T_{x}P_{lz})j+(T_{x}P_{ly}-T_{y}P_{lx})k$

$T\times P_{l}=SP_{l}=\begin{vmatrix} 0 & -T_{z} & T_{y}\\ T_{z} & 0 & -T_{x}\\ -T_{y} & T_{x} & 0 \end{vmatrix}\begin{vmatrix} P_{lx}\\ P_{ly}\\ P_{lz} \end{vmatrix} = \begin{vmatrix} T_{y}P_{lz}-T_{z}P_{ly}\\ T_{z}P_{lx}-T_{x}P_{lz}\\ T_{x}P_{ly}-T_{y}P_{lx} \end{vmatrix}$

$P_{r}^{T}RSP_{l}=0$ ， $E=RS$ ， $P_{r}^{T}EP_{l}=0$ ， $p_{l}=\frac{f_{l}}{Z_{l}}P_{l}$ ， $p_{r}=\frac{f_{r}}{Z_{r}}P_{r}$ ， $(\frac{Z_{r}}{f_{r}}p_{r})^{T}E(\frac{Z_{l}}{f_{l}}p_{l})=0$ ， $p_{r}^{T}Ep_{l}=0$

左像平面上的一点 $p_{l}$ 乘以本质矩阵E，结果为一条直线，该直线就是 $p_{l}$ 的对极线，且过 $p_{l}$ 在右像平面上的对应点 $p_{r}$ 。本质矩阵E的基本性质：秩为2，且仅依赖于外部参数R和T。其中，P表示物点矢量，p表示像点矢量。

（2）基础矩阵

由于本质矩阵E并不包含相机内参信息，且E是面向相机坐标系的。实际上，我们更感兴趣的是在像素坐标系上去研究一个像素点在另一视图上的对极线，这就需要用到相机内参信息将相机坐标系和像素坐标系联系起来。假设 $p_{l}$ 和 $p_{r}$ 是物理坐标值，其对应的像素坐标值为 $q_{l}$ 和 $q_{r}$ ，相机内参矩阵为M，那么 $p=M^{-1}q$ 。根据 $p_{r}^{T}Ep_{l}=0$ ，那么 $q_{r}^{T}(M_{r}^{-1})^{T}EM_{l}^{-1}q_{l}=0$ 。令基础矩阵 $F=(M_{r}^{-1})^{T}EM_{l}^{-1}$ ，那么 $q_{r}^{T}F q_{l}=0$ 。

三. OpenCV双目相机标定实现 [7]

参考文献：

[1] 对极几何基本概念：http://blog.csdn.net/tina_ttl/article/details/52749542

[2] 计算机视觉基础-视差与深度信息：http://www.360doc.com/content/14/0205/03/10724725_349968116.shtml

[3] 计算机视觉基础-对极几何：http://www.360doc.com/content/14/0205/02/10724725_349963695.shtml

[4] 计算机视觉基础-本质矩阵和基本矩阵：http://www.360doc.com/content/14/0205/03/10724725_349965748.shtml

[5] 本质矩阵和基础矩阵的区别是什么：https://www.zhihu.com/question/27581884

[6] 对极几何--本质矩阵E和基础矩阵F：http://blog.csdn.net/tanmengwen/article/details/7409886

[7] OpenCV双目相机标定：http://blog.csdn.net/t247555529/article/details/48046859

1 0