《数字图像处理系统导论》课件第6章.ppt

1、第六章目标位姿测量系统第六章目标位姿测量系统 6.1成像模型成像模型 6.2摄像机标定摄像机标定 6.3立体匹配立体匹配 6.4三维重建三维重建6.5立体视觉目标测量系统立体视觉目标测量系统6.6小结小结习题习题 第六章目标位姿测量系统20世纪70年代中期，以Marr、Barrow和Tenenbaum等人为代表的一些研究者，提出了一整套视觉计算的理论来描述视觉过程，其核心是从图像恢复物体的三维形状。经过近三十年的发展，在Marr的理论框架下，立体视觉取得了一大批成果。但随着立体视觉研究的不断深入，人们发现了Marr视觉理论的局限性，即从景物图像或系列图像求出景物精确的三维几何场景并定量地确定景

2、物中物体的性质时遇到了困难。第六章目标位姿测量系统立体视觉借助不同观察点对同一景物间的视差来帮助求取3D信息(特别是深度信息)。所以需要判定同一景物在不同图像中的对应关系，选择合适的图像特征以进行多图像间的匹配。根据对所选特征的计算来建立特征间的对应关系，从而建立同一个空间点在不同图像中的像点之间的关系，并由此得到相应的视差图像。根据得到的视差图像，可以进一步计算深度图像，并恢复场景中的3D信息，而3D信息常不完整或存在一定的误差，因此需要进行插值等改善图像质量。典型的立体视觉计算过程如图6-1所示。第六章目标位姿测量系统图 6-1典型的立体视觉计算过程第六章目标位姿测量系统对上述这些理论和方

3、法的研究有力地促进了相关应用的发展，这些应用领域包括对照片特别是航空照片和卫星照片的解释、精确制导、移动机器人立体视觉导航、医学辅助诊断、工业机器人的手眼系统、地图绘制、物体三维形状分析与识别以及智能人机接口等。在立体视觉的应用方面不乏成功的例子。进入20世纪80年代中后期，随着移动式机器人立体视觉研究的发展，大量运用空间几何的方法以及物理知识来研究双目立体视觉，主要是完成对道路和障碍的识别处理。这一时期引入主动视觉的研究方法，并采用了距离传感器以及视觉融合技术等，由于这种研究方法可直接取得深度图或通过移动获取深度图，因而使很多病态问题变成良态的。此外，在视觉的研究中重视了对定性视觉、有目的的

4、视觉等的研究。第六章目标位姿测量系统6.1成像模型成像模型计算机视觉研究中，三维空间中的物体到像平面的投影关系即为成像模型，理想的投影成像模型是光学中的中心投影，也称为针孔模型。针孔模型主要由光心(投影中心)、成像面和光轴组成，如图6-2所示。像点是物点和光心的连线与图像平面的交点。为了定量地描述摄像机成像过程，首先定义以下四个坐标系：世界坐标系、摄像机坐标系、计算机图像坐标系和图像坐标系。但在针孔模型中，假设成像面在光心的前端f处，这样可以使图像坐标系与计算机图像坐标系对齐，以简化运算。第六章目标位姿测量系统图 6-2摄像机针孔透视变换模型第六章目标位姿测量系统1.图像坐标系图像坐标系Oxy

5、与计算机图像坐标系与计算机图像坐标系uv的关系的关系如图6-3所示，计算机图像坐标系uv的坐标原点是O0，图像坐标系Oxy的坐标原点是O1，O1定义为摄像机光轴与图像平面的交点，该点一般位于图像中心处。若O1在uv坐标系中的坐标为(u0，v0)，每一个像素在x轴与y轴方向上的物理尺寸为dx、dy，则图像中任意一个像素在两个坐标系中的坐标有如下关系：00 xyxuudyvvd(6-1)第六章目标位姿测量系统写成齐次方程为(6-2)001/001/10011xyuduxvdvy 第六章目标位姿测量系统图 6-3图像坐标系第六章目标位姿测量系统2.世界坐标系世界坐标系OwXwYwZw与摄像机坐标系与

6、摄像机坐标系OcXcYcZc的关系的关系如图6-4所示，假设空间中某一点P在世界坐标系OwXwYwZw与摄像机坐标系OcXcYcZc下的齐次坐标是(Xw，Yw，Zw，1)T与(Xc，Yc，Zc，1)T，则存在如下关系：cwwcww1Tcww1111XXXYYYZZZ0RtM(6-3)第六章目标位姿测量系统图 6-4摄像机坐标系与世界坐标系第六章目标位姿测量系统式中：R为33正交单位矩阵，称为旋转矩阵，表征两坐标系之间的旋转关系；t为三维平移向量，表征两坐标系之间的平移关系；0(0，0，0)T；M1为44矩阵。另外，旋转矩阵R是由三个旋转角度确定的，分别是绕摄像机坐标系x轴的、绕摄像机坐标系y轴

7、的和绕摄像机坐标系z轴的。R与三个旋转角度分关系可用下式表示：(6-4)100cos0sincossin0(,)0cossin010sincos00sincossin0cos001 RR第六章目标位姿测量系统3.摄像机坐标系摄像机坐标系OcXcYcZc与图像坐标系与图像坐标系Oxy的关系的关系根据针孔模型，空间任何点P在图像上的投影位置p，为光心O与P点的连线OP与图像平面的交点，这种关系称为中心摄影或透视投影。由比例关系有如下关系式：(6-5)ccccfXxZfYyZ第六章目标位姿测量系统式中：(x，y)为P点的图像坐标；(Xc，Yc，Zc)为空间点P在摄像机坐标系下的坐标。用齐次坐标与矩阵

8、表示上述透视投影关系：(6-6)101000000001ccccZYXffyxZ第六章目标位姿测量系统4.世界坐标系世界坐标系OwXwYwZw与计算机图像坐标系与计算机图像坐标系uv的关系的关系将式(6-2)与式(6-3)代入式(6-6)，则得到以世界坐标系表示的P点坐标与其投影点p的坐标(u，v)的关系：(6-7)w0wc0Tww0w012wwTw1/000001/000110010010100 00100101xyxyXudufYZvdvfZXuYvZ RtRtM M XMX00第六章目标位姿测量系统图 6-5标定参照物第六章目标位姿测量系统6.2摄摄 像像 机机 标标 定定6.2.1线性

9、摄像机标定线性摄像机标定Abdal-Aziz和Karara于20世纪70年代初提出了直接线性变换摄像机标定方法，它是利用三维标定参照物(如图6-5所示)求解投影矩阵M的算法。将式(6-7)写成下式:11www343332312423222114131211ciiiiZYXmmmmmmmmmmmmvuZii(6-8)第六章目标位姿测量系统式(6-8)包含3个方程：消去Zci，可得如下两个关于mij的线性方程：(6-10)34w33w32w31c24w23w22w21c14w13w12w11cmZmYmXmZmZmYmXmvZmZmYmXmuZiiiiiiiiiiiiii3433w32w31w24

10、23w22w11w3433w32w31w1413w12w11w2mvmZvmYvmXvmmZmYmXmumZumYumXummZmYmXiiiiiiiiiiiiiiiiiiii(6-9)第六章目标位姿测量系统用矩阵表示为(6-11)111111111111www1w1 w1wwww1w1 w1wwwwwwwwwwwwwT1112131421222324313233341110000000011000000001nnnnnnnnnnnnnnnnnnTnnXYZu XuYu ZXYZv XvYv ZXYZu Xu Yu ZXYZv Xv Yv Zmmmmmmmmmmmmuvuv第六章目标位姿测量系

11、统由式(6-7)可见，M矩阵乘以任意不为零的常数并不影响(Xw，Yw，Zw)与(u，v)的关系。因此，在式(6-11)中指定m34=1，从而得到关于M矩阵其他元素的2n个线性方程，这些未知元素的个数为11个，记为11维向量m，将式(6-11)简写成：Km=U (6-12)式中：K为式(6-11)左边2n11矩阵；m为未知的11维向；U为式(6-11)右边的2n维向量；K、U为已知向量。当2n11时，可用最小二乘法求出上述线性方程的解为m=(KTK)1KTU (6-13)第六章目标位姿测量系统m向量与m34=1 构成了所求解的M矩阵。由上可见，由空间6个已知点与其计算机图像点坐标，可求出M矩阵。

12、但实际上，被采用的特征点远不止6个，所用到的方程个数远大于未知量的个数，进而可利用最小二乘法求解M矩阵，以便降低由单个点的坐标误差造成的影响。值得注意的是，在求解过程中，要对m34进行处理，即指定m34=1，这样获得的M是基于一个非零比例因子意义下相等的矩阵。虽然这并不影响投影关系，但在分解M以求内参数矩阵时必须考虑。其实，在方程中的M矩阵可写成：TT11140TT2342240TT33T0000100101xxyyztmutmmvtrmrmrm0(6-14)第六章目标位姿测量系统由式(6-14)可得由上式两边对应相等关系可知，m34m3=r3。又由于r3是正交单位矩阵的第三行，所以|r3|1

13、。因此，由m34|m3|=1可得m34=1/|m3|。同理，可根据方程(6-15)两边对应项相等的关系得到如下解：(6-15)TTT11410 30TTT3422420 30TT331xx xzyy yzzmutu tmmvtv ttmrrmrrmr第六章目标位姿测量系统(6-16)3343TT2T010 333413TT2T020 3334232341323423341103342203343414034240()()()()()()xyxyxyzxxyymuumvummmmumvtmmtmumtmvrmrrrm mrrrm mmmmmrmmrmm第六章目标位姿测量系统6.2.2非线性摄像机

14、标定非线性摄像机标定张正友的平板标定方法是介于传统标定方法和自标定方法之间的一种方法。它既避免了传统方法设备要求高，操作繁琐等缺点，又较自标定方法精度高。如前所述，根据针孔成像原理，由世界坐标点到理想像素点的齐次变换如下：式中：r是一个比例因子；s为计算机图像坐标系与图像坐标系之间的倾斜量；fx和fy分别是x轴与y轴的换算因子。(6-17)ww0ww0ww0100111xyxxufsuyyvfvzzr RtA Rt第六章目标位姿测量系统1.单应性矩阵的计算单应性矩阵的计算不失一般性，取模板所在平面为世界坐标系的Zw=0平面。用ri表示R的第i列向量，那么对于模板平面上的点都有：模板平面上的点和

15、其像点之间建立了一个映射H=Ar1r2t，这个矩阵被称为单应性矩阵(Homography)。设(6-18)www12312ww111xuxyvyzr A rrrtA rrt11121321222331321hhhhhhhhH第六章目标位姿测量系统可得整理得其中，h=h11h12h13h21h22h23h31h32T选取4对以上匹配点，可线性求解单应性矩阵H。(6-19)1w32w3123w22w2113w12w11yhxhhyhxhvhyhxhurrrwwwwwwww10000001xyuxuyuxyvxvyv h(6-20)第六章目标位姿测量系统令H=h1h2h3，则h1h2h3=lAr1r

16、2t (6-21)因为r1和r2是单位正交向量，即且所以式(6-22)为摄像机内部参数的求解提供了两个约束条件。由于平面标定模板的单应性矩阵具有8个自由度，外部参数占据了其中的6个(3个旋转和3个平移)，因此只能利用剩下的2个约束条件。(6-22)TT112TT1TT111220h AA hh AA hh AA hTT11221r rr rT120r r第六章目标位姿测量系统2.参数求解参数求解令(6-23)11121311222231323330022220002222222220000000022222221()1 ()()1TyxxyxyyxyxyyxyyyyyxyxyyxyyBBBBBBBBBsvu fsff ff fs svu fvssf ff fff ffsvu fs svu fsvu fvvf ff fff ffBAA第六章目标位姿测量系统可以看出，B为对称矩阵，定义6维向量b=B11B12B22B13B23B33T，则有式中hi=hi1hi2hi3Tvij=hi1hj1hi1hj2+hi2hj1hi2hj3hi3hj1+hi1hj3hi3hj2+hi2hj3hi3hj3