《数字图像处理系统导论》课件第5章.ppt

1、第五章运动目标检测与跟踪 第五章运动目标检测与跟踪 5.1运动目标检测运动目标检测 5.2运动目标跟踪运动目标跟踪 5.3特征点跟踪示例特征点跟踪示例lkdemo.c略析略析 5.4小结小结习题习题 第五章运动目标检测与跟踪 运动目标检测是指在序列图像中检测出变化区域，并将运动目标从背景图像中提取出来。通常情况下，目标分类、跟踪和行为理解等后处理过程仅仅考虑图像中的运动目标的像素区域，因此运动目标的正确检测与分割对于后期处理非常重要。一般而言，好的视频跟踪算法要满足两个基本的要求：(1)实时性好，算法费时少。如果系统的跟踪环节后面还有其他的图像处理环节，那么就要预留较多的时间给后面的处理，无法

2、实现正常跟踪，所以实时性至关重要。(2)鲁棒性强。实际的观测环境及图像的背景可能很复杂，光照、图像噪音及随时可能出现的对目标的遮挡均使目标的跟踪变得非常困难，这样对算法的鲁棒性要求就很高。第五章运动目标检测与跟踪 由于场景的动态变化，如天气、光照、阴影及杂乱背景干扰等的影响，使得运动目标的检测与分割变得相当困难。图5-1所示为变化背景下运动目标的检测结果。第五章运动目标检测与跟踪 图 5-1变化背景下运动目标的检测结果第五章运动目标检测与跟踪 5.1运动目标检测运动目标检测5.1.1静态背景下的运动目标检测静态背景下的运动目标检测大多数视频监控系统的摄像头是固定的，因此静态背景下的运动目标检测

3、算法受到广泛关注，常用的方法有帧差法、累积差分法、光流法、背景减除法等。1.帧差法帧差法帧间差分法，简称帧差法，检测相邻两帧图像之间的变化，直接比较两帧图像对应像点的灰度值的不同，然后通过阈值来提取序列图像中的运动区域。由于相邻两帧间的时间间隔非常短，用前一帧图像作为当前帧的背景模型具有较好的实时性，其背景不积累，且更新速度快，算法简单，计算量小。第五章运动目标检测与跟踪 下面介绍帧差法的算法实现。第k帧图像的灰度值Ik(xi，yi)和第k+1帧图像的灰度值Ik+1(xi，yi)的变化用二值差分图像DPk,k+1(x，y)表示为式中：(x，y)为运动车辆在图像空间的位置；T为阈值。阈值的选择相

4、当关键，若选择过低，则不足以抑制图像中的噪声；若选择过高，则忽略了图像中有用的变化。运动序列的帧间差分法结果如图5-2所示。1,11(,)(,)DP,0kiikiik kIx yIx yTx y其他(5-1)第五章运动目标检测与跟踪 图 5-2运动序列的帧间差分法结果第五章运动目标检测与跟踪 2.累积差分法累积差分法缓慢运动的物体在图像中的变化量是一个很小的量，累积差分图像方法(Accumulative Difference Picture，ADP)的基本思想是通过分析整个图像序列的变化(而不是仅仅分析两帧之间的变化)来检测小位移或缓慢运动的物体。这种方法不仅能用来可靠检测微小运动或缓慢运动的

5、物体，也可用来估计物体移动速度的大小、方向以及物体尺度的大小。下面介绍累积差分法的算法实现。累积差分图像可分为一阶累积差分图像(FADP)和二阶累积差分图像(SADP)。一阶累积差分图像的形成过程如下：将图像序列的每一帧图像与一幅参考图像进行比较，当差值大于某一阈值时，就在累积差分图像中加1。通常将图像序第五章运动目标检测与跟踪 列的第一帧作为参考图像，并且置累积差分图像FADP0的初始值为0。这样，在第k帧图像上的累积差分图像FADPk(x，y)为二阶差分图像的构造为：对应于第n帧(n=0，1，N且n1)的二阶差分图像在(x，y)位置的值为“1”，表明在这个位置上第n1和n帧的一阶差分图像F

6、ADP具有不同符号。累积差分图像具有许多性质，可以用于描述物体运动的总体参数。其他),(DP),(FADP0 0),(FADP11yxyxkyxkkk其他01),(SADP),(SADP1),(SADP1kyxyxyxkkk(5-2)(5-3)第五章运动目标检测与跟踪 3.光流法光流法光流(optical flow)是指图像亮度模式的表观(或视在)运动(apparent motion)。光流法的主要任务就是计算光流场，即在适当的平滑性约束条件下，根据图像序列的时空梯度估算运动场，通过分析运动场的变化对运动目标和场景进行检测与分割。给图像中的每一像素点赋予一个速度向量，就形成了图像运动场(mot

7、ion field)，对应于物体三维运动。例如,在一个摄像机前，让一个颜色均匀的小球均匀转动，运动场因为有角速度，不为零，但因为图像并不随时间而变化，所以光流场处处为零。图5-3所示的Barber的运动场和光流场的方向也不一致。第五章运动目标检测与跟踪 图 5-3Barber的运动场和光流场第五章运动目标检测与跟踪 对于运动检测，通常有基于全局光流场和特征点光流场两种方法。1)光流方程在视频中，对于t和t+dt帧的光流计算，相当于两幅图像的像素匹配过程。我们假设在视频帧中，物体的对应像素的灰度值不因运动而变化，则可得到光流的基本公式：I(x+udt，y+vdt，t+dt)=I(x，y，t)(5

8、-4)令u=dx/dt，v=dy/dt分别表示水平方向和垂直方向的光流速度，I*表示某方向的梯度，用一阶差分代替一阶微分，则光流基本公式可以表示为Ixu+Iyv+It=0(5-5)第五章运动目标检测与跟踪 Ix、Iy、It的计算用离散的差分代替导数。而未知数u和v只有一个方程，这种问题称为孔径问题(aperture problem)。为了解决孔径问题，可以假设在一个小窗口内的像素光流是一致的：亮度恒定；时间连续或者运动是“小运动”；空间一致，临近点有相似运动，保持相邻。图5-4所示为一致光流及其方程。第五章运动目标检测与跟踪 图 5-4一致光流及其方程第五章运动目标检测与跟踪 则光流方程矩阵可

9、以表示为Au=b(5-6)使用最小二乘法解Au=b中的向量，考虑矩阵的可逆性：则u=(ATA)1ATb(5-7)u即为所求的光流矢量。2T2xxyxyyII II IIA A第五章运动目标检测与跟踪 2)经典算法经典的全局光流场计算方法是L-K(Lucas-Kanade)法和H-S(Horn-Schunck)法，Lucas和Kanade假设在一个小的空间邻域上运动矢量保持恒定，然后使用最小二乘方估计光流。在L-K算法中，有些情况会导致矩阵不可逆。利用图像的特征角点计算光流，具有计算量小、快速灵活的特点，但当物体运动范围较大时，计算误差很大。这时，可以引入金字塔的思想，对原始图像进行采样，由粗到

10、精，先通过高层金字塔找出大的运动量，再逐步细化，计算小的运动量并不断纠正大运动量的精确度。总的来说，光流法不需要预先知道场景的任何信息，就能够检测到运动对象，可处理背景运动的情况，但噪声、多光源、阴影和遮挡等因素会对光流场分布的计算结果造成严重影响。第五章运动目标检测与跟踪 3)应用示例在摄像机固定的情况下，运动物体的检测其实就是分离前景和背景的问题，得到光流场后通过比较运动目标与背景之间的运动差异对运动目标进行光流分割，如图5-5所示。对于背景，理想情况下，其光流应当为0，前景光流不为0。所以我们并不要求通过求解光流约束方程求出u、v，只要求出亮度梯度方向的速率就可以了，即求出sqrt(u*

11、u+v*v)。而由光流约束方程可以很容易求到梯度方向的光流速率为V=abs(It/sqrt(Ix*Ix+Iy*Iy)。这样我们设定一个阈值T，若V(x，y)T，则(x，y)是前景，反之是背景。第五章运动目标检测与跟踪 图 5-5目标运动的光流检测结果第五章运动目标检测与跟踪 4.背景减除法背景减除法背景减除法的基本思想是利用背景的参数模型来近似背景图像的像素值，将当前帧与背景图像进行差分，实现对运动区域的检测，其中区别较大的像素区域被认为是运动区域，而区别较小的像素区域被认为是背景区域。背景减除法必须要有背景图像，并且背景图像必须是随着光照或外部环境的变化而实时更新的，因此背景减除法的关键是背

12、景建模及其更新。第五章运动目标检测与跟踪 混合高斯模型(Gaussian Mixture Model，GMM)可对存在渐变及重复性运动的场景进行建模，被认为是最好的背景模型之一。基于高斯分布背景模型的差分方法，将图像中的每个图像单位(像素、块等)看成是从混合高斯分布样本中采样得到的随机变量。根据先验知识，每个像素点是前景或背景的先验概率可以估值。通过背景的分布模型判断一个像素点是否属于背景点，以此区分前景点和背景点，前景点就构成分割出来的物体，如图5-6所示。第五章运动目标检测与跟踪 图 5-6高斯背景减除法检测结果第五章运动目标检测与跟踪 最常用的描述背景点颜色分布的概率分布是高斯分布(正态

13、分布)，实际上也就是对每个像素考察其像素值与背景模型中的高斯分布的匹配程度。例如，当像素值在一个高斯分布的16以内时就认为它与该高斯分布匹配，即认为其属于背景点；而如果不与背景中任何一个高斯分布匹配，则认为其为前景点。背景模型的建立可以通过训练得到，并在处理中不断更新，这些过程除了需要人为地少量干预之外，可以自动地实现。混合高斯模型使用k个(基本为35个)高斯模型来表征图像中各个像素点的特征，在新一帧图像获得后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，第五章运动目标检测与跟踪 如果成功则判定该点为背景点，否则为前景点。通观整个高斯模型，主要由方差和均值两个参数决定，对均值和

14、方差的学习，采取不同的学习机制，将直接影响到模型的稳定性、精确性和收敛性。由于我们是对运动目标的背景提取建模，因此需要对高斯模型中方差和均值两个参数实时更新。为提高模型的学习能力，改进方法对均值和方差的更新采用不同的学习率；为提高在繁忙的场景下大而慢的运动目标的检测效果，引入权值均值的概念，建立背景图像并实时更新，然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类。第五章运动目标检测与跟踪 初始化混合模型参数包括每个高斯模型的所占权重、每个高斯模型的均值和标准差。K个高斯模型的均值u为输入视频的第一帧对应的像素值或平均值，所有高斯模型的初始方差都是相等的，方差取值表现该视频的动态特性

15、，因为标准差的大小与各个高斯模型像素值的波动范围直接相关。高斯模型的权重的初始化就是对背景的分布进行先验概率的估值，在初始化时，一般将第一个高斯模型的权重取较大，其他就相应地取值较小，即1(,1)111kWkx yWkK(5-8)第五章运动目标检测与跟踪 如果对于所有的颜色分量都成立，那么就把该像素归于第B个高斯模型，说明该像素点属于背景点，则第B个背景分布输出了一个采样值，这时所有分布都需要进行参数更新。野点指的是该像素值不符合任何一个高斯分布，此时我们把该像素点看成是视频中出现的新情况，用这种新情况来代替第k个高斯分布，其权重和均值以及方差都按照初始化思路确定，也就是分配一个较小的权重，和

16、一个较大的方差，同时确定该点是前景点。最后一步就是把k个高斯模型按照优先级别进行从大到小的排序，这里的优先级别取决于权值和方差之比，即(5-9)2(,)(,)kkw x y fx y f第五章运动目标检测与跟踪 上式直接说明了在方差相等的情况下，权重越大，就越趋向于背景分布；在权重相等的情况下，方差越小，也就是变量的分布越集中，那么就更加趋向于背景分布；反之则趋向于前景分布。基于高斯背景模型的运动目标检测方法，首先利用统计的方法得到背景模型，并实时地对背景模型进行更新以适应光线变化和场景本身的变化，用形态学方法和检测连通域面积进行后处理，消除噪声和背景扰动带来的影响。图5-7所示为高斯背景建模运动检测。第五章运动目标检测与跟踪 图 5-7高斯背景建模运动检测第五章运动目标检测与跟踪 综上所述，高斯背景建模方法将图像中的每个图像单位看做从混合高斯分布样本中采样得到的随机变量，一般的混合高斯模型采用35个单高斯模型进行混合。该方法根据先验知识，对每个像素点是前景或背景的先验概率进行估值，并考虑到背景的多模态和复杂度，具有较好的检测效果。基于统计背景模型的运动目标检测方法主要存在以下问题：(