复杂场景中的运动目标检测研究.pdf 9页

'中国科技论文在线http://www.paper.edu.cn#复杂场景中的运动目标检测研究**郑毅，陈林，徐栋，徐先瑞，李响（华东师范大学地理科学学院，上海200241）5摘要：目前，虽然已有许多关于运动目标检测技术被提出并应用，但受现实场景及技术本身复杂性的限制，在技术和实践方面仍然存在一些弱点和问题需要被改进和解决，如检测算法的鲁棒性和实时性。本文基于前人的研究提出了一种新的自适应背景差分法。该方法根据样本一致性和样本差异性统计模版先对图像进行初始分割，再结合错误检测抑制模型消除一些10误检区域，最后利用基于区域边界评价的确定性前景更新和概率性更新策略实现背景模型的更新。实验表明本文的检测方法能够实现复杂场景的检测，相比于大部分检测算法，本文算法具有较好的鲁棒性，同时满足实时检测的要求。关键词：图像处理；背景差分法；目标检测中图分类号：TP391.415ResearchonMovingTargetDetectioninComplcatedEnvironmentZHENGYi,CHENLin,XUDong,XUXianrui,LIXiang(GeographicSciencesSchool,EastChinaNormalUniversity,Shanghai200241)20Abstract:Althoughalargequantityoftechnologiesinmovingtargetsdetectiondomainareproposed,therearesomedifficultiesandchallengeswithoutgoodsolutions,especiallyincomplexenvironment.Ingeneral,howtoimprovesimultaneouslytherobustandefficiencyofdetectionismostseverechallenge.Therefore,weproposesanewlyadaptivebackgroundsubtractionformovingobjectsdetection.Theproposedbackgroundsubtractionisconsistedofthreeparts:first,webuildasample25disparityandasampleconsensusstatisticalmaskintheinitialsegmentationphase.Second,addingafalsepositivessuppressionmodelintothedetectionmethod.Inaddition,itexploitsanewupdateschemebyintegratingprobabilisticandcertainmanner.Weusethe2012ChangeDetectiondatasettoevaluatetheperformanceoftheproposedbackgroundsubtractionintheexperiment.Resultsdemonstratethattheproposedmethodcansuitableforthemostcomplexenvironmentandoutperforms30themostexistingdetectionmethods.Keywords:imageprocessing;backgroundsubtraction;targetdetection0引言35运动目标检测是根据目标运动变化不同于背景的运动变化这一重要特点将其从背景中分割或提取出来。按照场景是否变化的特点可划分为两大类检测研究领域：运动区域和静态区域的检测。运动区域即整个检测区域为运动的场景，如移动的相机拍摄的场景，在这种场景中的检测通常比静态区域下的检测难。在动态区域下可以用光流法来区分背景和运动目[1]标；也可以利用相邻多帧重构一定时间段内的静态场景，然后再进行目标检测。在最近几40年，基于机器学习的目标检测方法也可以较好实现动态背景下运动目标检测，这类算法有人工神经网络、支持向量机、自举算法等。在相对静态（并非完全静止）背景中，常用的检测方法主要包括：背景差分法、帧差法及光流法等。其中背景差分法由于其兼顾鲁棒性和实时基金项目：教育部博士点基金项目（20130076110014）作者简介：郑毅（1990-），男，硕士研究生，主要研究方向：交通信息系统及图像处理通信联系人：李响（1975-），男，教授，主要研究方向：交通地理信息系统.E-mail:xli@geo.ecnu.edu.cn-1- 中国科技论文在线http://www.paper.edu.cn性而得到广泛发展和运用。由于场景的光线变化、局部动态背景、相机抖动等因素的干扰，获取一个适应性强且准45确的背景几乎是不可能的。为了降低这些干扰因素在运动目标检测的过程对准确性的影响，需要对背景进行建模，提升背景的抗干扰能力，并增强检测算法的适应性。背景模型通常可[2,3]以分为参数化和非参数化的背景模型，混合高斯模型是最经典的参数化背景模型。但是高斯背景模型存在明显的缺陷，即背景像素值的变化分布并不一定都符合高斯分布，且参数化的背景模型计算复杂度相对较高，这些缺陷都会影响最终的检测结果。因此，近年来许多[4,5]50学者开始研究非参数化的背景模型，这类背景模型通过训练一段时间内图像帧，获取各个像素位置的样本集合，并对样本像素值集合进行分析，然后将待检测的图像与背景模型按照一定的决策方案进行比较，将该图像二分化为前景与背景。本文提出了一种新的背景差分法，该方法通过采用了新的分割模式及采用新的更新背景模型策略，并增加了应对误检的模型。最后通过对比实验论证本文检测算法的鲁棒性。551背景差分法背景差分法，按照字面上意义可以理解为将待检测图像与背景图像进行差分。但是由于现实场景变化的不确定性，使用固定的背景图像无法适应场景变化而造成误检。所以最简单的改进方法就是通过不断更新背景帧使其适应场景的变化，但是并不是每帧图像的都只有背景区域，且单帧背景图像依然无法包含所有干扰噪声。因此，许多学者都致力于研究不同背60景模型代替单个背景帧，并且取得了不错的运动目标检测结果。常用的背景建模方法有：1.1参数化背景建模参数化的背景建模是利用一段时间内各个位置像素对应的亮度值作为统计样本，计算假设的概率密度函数的参数，然后根据求得的概率分布来近似模拟背景像素值的分布。根据不同的假设概率分布可以划分不同建模方法，其中高斯背景建模最为常用。而高斯背景模型又65可以分为单高斯和混合高斯的背景模型，单高斯的模型仅适用于相对简单的场景中。而对于复杂的环境，如喷泉场景、波动的水面、摇动的树枝及各个干扰因素叠加的场景等，则使用混合高斯模型更加有效。采用参数化的背景差分法能够取得不错的检测结果，相对于一些较简单的背景建模方法，如中值法和时间平均法，有着更好的抗噪能力和适应性。但是这类算法也存在很多局限70性：在建模时，需要正确的概率分布模型和较多的先验信息，并且实际中各个像素位置的亮度值变化并不一定符合高斯分布和计算复杂度较高等。1.2非参数化背景建模非参数化的建模方法类似于参数化都是基于样本统计信息建立的模型，但是非参数化的方法实现过程简单，无需进行复杂的求参过程。[5][6][7]75其中经典的非参数化的建模方法则有核密度估计法(KDE)、Codebook、W4及基于-2- 中国科技论文在线http://www.paper.edu.cn[4,8-10]样本一致性的方法等。基于核密度的背景建模，其核密度函数是通过从训练样本中估计得到的，不需要假设任何形式的分布，不同于参数化估计方法。Codebook的背景建模方法是将各个位置上一系列的训练样本像素值聚类为“codebooks”，每个codebook都包含一些信息，如分割阈值、样本集合的最大和最小值及更新模型的时间间隔等。基于Codebook80的运动目标检测方法具有实时性，且具有较好的抗噪能力，在一些相对稳定的场景中能取得较好的检测结果。但是当前景目标相似于背景环境时，利用codebook很容易将前景目标误检为背景，这是由于codebook固有的局限性：像素值的聚类导致忽略细微的差别。而近年来，许多学者开始研究基于样本一致性的检测算法，这类检测算法的背景建模过程非常简单，就是将序列图像中的开始一段时间内的样本像素集作为背景的统计模型。基于85此背景模型可以添加不同的抑制噪声的策略和模型更新机制，使得运动目标检测算法得到实[4]质上的提升和发展，可应对各种复杂的环境。ViBe是经典的基于样本一致性的检测算法，该算法检测过程非常简单却能够取不错的效果，再加上其采用了一种随机替换和空间邻近更[9]新机制代替传统的先进先出的更新策略，使得算法能够更好适应复杂情况。PBAS基于ViBe的基础上提出了一种自适应的样本一致性的背景差分法，通过设置各个像素位置上的自适应[10]90分割阈值和更新率使其适应各个动态环境。SuBSENSE则是基于PBAS的基础上结合LBSP纹理信息提出了一种新的自适应的背景差分法，取得了非常优秀的检测结果。2一种新的自适应背景差分法2.1背景建模本文采用非参数化的基于像素范围的背景建模方法。对于给定的场景，我们将系列图像95或者视频的前N帧作为背景样本，背景模型定义为{(,)|Bxyi1,,}N，其中(,)xy代表ic每个像素的位置，Bxy,包含N个像素值样本{Ixyc,|RGB,,}，R,G,B表示像ii素值在RGB颜色空间三个颜色通道。在建模过程中，Bxy,还包括每个通道的样本无偏ic标准差σ(,)xy，将用来决定后续分割阈值的大小。2.2初步检测100本文采用非参数化的基于像素范围的背景建模方法。在非参数化的背景差分法的检测阶段，现有的算法大多数都是根据样本一致性原则进行前景和背景的划分。这种划分机制容易造成相似的前景或者前景的细微处发生误检为背景。本文分别定义了样本一致性和样本差异性两个统计模版如下：ccc1Itxy,Bixy,Tb,c(,RGB,)BCxi(1)0otherwise-3- 中国科技论文在线http://www.paper.edu.cnccc1Itxy,Bixy,Tf,c(,,)RGB105FCx(2)i0otherwisecBCxyi,表示样本一致性模版，用于判断待检测的像素与背景模型的相似度。Tb是背景相似性的分割阈值，只有当待检测的像素的三个通道值与背景模型中样本值的距离都小c于分割阈值Tb，BCxyi,1表示待检测的像素与样本中第个样本像素相似。FCxyi,表示样本差异性模版，相对于样本一致性模版该模版则用于判断待检测的像素与背景模型的c110差异性。T是差异性分割阈值，只要待检测的像素的三个通道中一个通道与样本值距离大fc于阈值T时，则FCxy,1表示不相似的情况。fi在实际的检测过程中，动态区域的阈值应该大于相对静态的区域，同时动态区域的一段时间内像素值的标准差大于静态区域。根据这种正相关的关系，本文的分割阈值由样本标准差决定。115设定好分割阈值后，需要建立一个分割模版，将输入图像划分为前景和背景两部分。根据前面定义的相似性和差异性模版，将待检测的像素值与背景模型进行比较，得到相似性统计量和差异性统计量。再由这两个统计量的比较结果去判断待检测像素是前景像素还背景像素。具体的分割模版如下：NN1FCxyi,BCxyi(,)TeiiMxy,(3)10Otherwise120其中T是固定平衡阈值，用于去除由于噪声影响造成的两个统计量的不平衡关系。e2.3模型更新对背景模型进行持续更新是保证检测算法实现精确检测的重要步骤，模型的更新过程能够使得算法适应场景的变化。本文采用一种新的更新策略，该方法整合了保守更新和盲目更新的优势，通过分析对象层次上的边缘信息，再结合基于确定性和概率性更新策略能够很好125解决Ghost现象，并且能够很好保持感兴趣的前景目标。由于场景的复杂性，在检测的过程中容易出现错误检测的斑块，如果单独只用保守的更新方法会陷入死锁，导致这种伪前景无法去除。因此，本文通过分析各个区域的边界信息，去判断前景区域是否真前景再进行更新操作。在更新之前，首先利用55的均值滤波对初始检测结果进行处理，去除噪声同时将相对分散的像素合并区域斑块。形成区域后，提取区130域外边界像素，再判断前景像素的边缘像素是否与周围背景像素相似，如图1所示，本文定义了一个8领域的算子进行判断，标注为红色的1为边界像素，白色1为前景像素，0为背景像素。根据这个8领域算子将边界像素与背景像素进行比较，只要与其中一个背景像素相-4- 中国科技论文在线http://www.paper.edu.cnccc比较时，满足条件Ixy,,BxyT，则认为该边界像素与背景相似，反之，则不tib相似。135图1边界像素的8领域算子示意图Fig.1BoundarypixelsoftheeightFieldoperator确定每个区域的边界像素之后，需要综合分析各个区域是否是属于真前景目标。由于前景目标与背景区域通常存在相对明显的边界，因此如果是真前景目标的话其整个区域的边缘140的相似性像素就会少于不相似的边界像素。根据这个原则可以对伪前景区域进行更新操作，同时保持真前景区域。本文定义了判断模版如下：0P0.58nU1P0.45（5）nn2otherwisePnSAn/n（6）S表示区域n中相似的边界像素的个数，A是区域n中总的边界像素的个数。P表示nnn145前景区域是否是伪前景的概率，当U0时，说明该区域为伪前景的概率大于真前景的概n率，因此对该区域内的前景像素进行更新；当U1时，说明该区域为真前景则不更新；n当U2时，只更新相似的边界像素，并且是按一定的概率，用其周围的背景像素代替更n新。对于背景像素，本文采用概率更新的方法，根据每个像素位置上的样本标准差决定其更avgavg150新的概率，即每个背景像素都有(,)/24xy的概率被更新（(,)xy三个通道的平均标准差）。采用概率更新方法可以实现因地制宜的效果，变化大且不稳定的区域的更新概率和速率要大于相对静止稳定区域，这样才能保证整个算法适应各种场景。2.4伪前景模型本文通过建立一个伪前景模型对初始检测结果进行重检测，从而实现对错误检测的抑155制。首先，伪前景模型与背景模型类似，将其定义为{FPx(,y)|i1,,}m，是针对存在i-5- 中国科技论文在线http://www.paper.edu.cn伪前景的位置上建立模型，用像素值表示模型的样本。这些前景像素通过原始初始检测的结果与经过形态学处理后的初始检测结果进行异或运算获得的，如图2左图所示。虽然在建模过程中，偶尔会将一些零散的真前景像素加入到模型，但在重检测的过程中并非用所有的前景区域，只是用到相对较小的前景区域。因此即使模型中包含了少许的真前景像素对后续重160检测过程影响也不大。图2伪前景结果图Fig.2Pseudoforegroundresults接着，在重检测阶段，本文定义一个伪前景判断模版：ccc0#{Itxy,FPixy,Tb}#minMxy1,1M2xy,1otherwise（5）165Ixyt,表示小面积的前景区域、噪声和不稳定的前景像素值，将当前像素值与对应的伪前景模型中样本相比较，当相似的个数少于最小限制量#，则说明该前景像素为真前景，min反之则划分为背景像素。当后续比较的前景像素与对应模型样本的差异值超过一定的阈值（本文设置每个通道的限定阈值为80），且累积个数超过5次，说明这个像素位置经常出现前景目标，则不对该位置的前景像素进行重检测，这样可以防止运动目标被腐蚀。170该部分的整个结果如图3所示，(a)是输入帧，(b)是真实前景目标，(c)是未进行重检测的结果图，(d)是经过重检测的结果图。(d)和(c)相比较去除了一些杂质和噪声，使得检测结果更加准确。(a)(b)(c)(d)-6- 中国科技论文在线http://www.paper.edu.cn图3经过重检测的结果对比图Fig.3Comparisonoftheresultsofthere-test1753实验及结果分析为了评价本文提出的自适应背景差分法，利用由Goyette和Jodoin等提出的2012年变[11]化检测数据集，该数据集相比于其他测试数据集包括的场景更全面，总帧数更多。本文基于OpenCV实现整个检测算法，获取每个类型的评价因子数据，如表1所示。可以看出本文的算法在baseline,shadow和dynamicbackground这三类场景中表现较好，其中180baseline的检测效果最好，由于这个类型中场景相对于其他类型干扰因素较少，因此在检测的过程中容易获得准确的运动目标，如图4所示，从效果图上也可以反映出baseline的运动目标与真实值匹配度是最高的，除了一些阴影的影响，因为本文算法中没有考虑阴影检测。camerajitter和intermittentObjectMotion这两个类型的FMeasure低于其他类型，这主要是由于这两种类型的场景相对于其他类型场景更加复杂，在检测过程也更加困难。但是总体的185FMeasure还是高于大多数经典的检测算法，如表2所示，将本文的结果与其他十种算法进行比较，这些算法在2012年变化检测数据集的检测结果中都是排名靠前的。从表2的比较结果中可以看出，本文的检测结果在这十一个算法排名第二，比大多数的算法的检测效果都好，这是因为本文检测算法采用的新的分割方法，使得在检测过程中可以获取更完整的运动目标；同时采用噪声和错误检测的抑制方法，提高了本文检测算法的适应性和抗噪能力。190表1六种类型的评价数据Tab.1SixtypesofevaluationdataRecallSpecficityFPRFNRPBCPrecisionFMeasurebaseline0.94310.99790.00210.05690.36670.95440.9478dynamicbackground0.80810.99940.00060.19200.26050.89900.8464thermal0.80730.99310.00690.19201.45740.83710.8180intermittentObjectMotion0.65500.98900.01100.34513.78740.81220.7135cameraJitter0.61140.99330.00670.38862.15220.85680.6925shadow0.90.99230.00770.11.20810.85720.8726overall0.78750.99420.00580.21241.53870.86940.8151-7- 中国科技论文在线http://www.paper.edu.cnBLDBCJIOMSHTH输入图像真实值[9]PBAS本文结果图4六种类型的部分检测效果图195Fig.4Sixtypesofpartialdetectioneffects表2与其他算法的FMeasure对比结果Tab.2ComparisonwithotheralgorithmsofFMeasure算法FMeasure[12]PAWCS0.8579[13]UBSSV00.8092[9]PBAS0.7532[14]GPRMF0.7944[15]SGMM-SOD0.7661[16]DPGMM0.7763[17]Spectral-3600.777[18]PBAS-PID0.772[19]PSP-MRF0.7372[20]SC-SOBS0.7283本文算法0.81512004结论本文提出了一种新的自适应的背景差分法。该方法主要包括三个方面创新和改进：采用了新的分割模式；增加一个噪声抑制过程并改进了背景更新的策略。这三方面的突破使得本文的检测算法能够适应复杂的场景，并获取准确的运动目标。最后在实验中利用2012年变化检测数据集验证本文算法的特点及分析不足之处，并与其他经典检测算法进行比较，突出205说明本文算法的鲁棒性。-8- 中国科技论文在线http://www.paper.edu.cn[参考文献](References)[1]张珺.复杂环境下的运动目标检测与跟踪关键技术研究[D].南京航空航天大学,2008.[2]StaufferCandGW.Adaptivebackgroundmixturemodelsforreal-timetracking[Z].1999:2,246-252.[3]ZivkovicZ.ImprovedAdaptiveGaussianMixtureModelforBackgroundSubtraction[Z].2004.210[4]BarnichO,VanDroogenbroeckM.ViBe:AUniversalBackgroundSubtractionAlgorithmforVideoSequences[J].IEEETransactionsonImageProcessing.2011,20(6):1709-1724.[5]ElgammalA,HarwoodD,DavisL.Non-parametricmodelforbackgroundsubtraction[M].ComputerVision-ECCV2000,Springer,2000,751-767.[6]KimK,ChalidabhongseTH,HarwoodD,etal.Real-timeforeground-backgroundsegmentationusing215codebookmodel[J].Real-timeimaging.2005,11(3):172-185.[7]HaritaogluI,HarwoodD,DavisLS.W4:real-timesurveillanceofpeopleandtheiractivities[J].IEEETransactionsonPatternAnalysisandMachineIntelligence[H.W.Wilson-AST].2000,22(8):809.[8]WangH,SuterD,SuterD.BackgroundSubtractionBasedonaRobustConsensusMethod[Z].IEEE,2006:1,223-226.220[9]HofmannM,TiefenbacherP,RigollG.Backgroundsegmentationwithfeedback:ThePixel-BasedAdaptiveSegmenter[Z].IEEE,201238-43.[10]St-CharlesP,BilodeauG,BergevinR.SuBSENSE:AUniversalChangeDetectionMethodWithLocalAdaptiveSensitivity[J].IEEETransactionsonImageProcessing.2015,24(1):359-373.[11]GoyetteN,JodoinP,PorikliF,etal.Changedetection.net:Anewchangedetectionbenchmarkdataset[C].225IEEE,2012.[12]St-CharlesP,BilodeauG,BergevinR.ASelf-AdjustingApproachtoChangeDetectionBasedonBackgroundWordConsensus[C].IEEE,2015.[13]SajidH,CheungSS.BACKGROUNDSUBTRACTIONFORSTATIC&MOVINGCAMERA[J].[14]WangN,YaoT,WangJ,etal.Aprobabilisticapproachtorobustmatrixfactorization[M].Computer230Vision-ECCV2012,Springer,2012,126-139.[15]EvangelioRH,SikoraT.Complementarybackgroundmodelsforthedetectionofstaticandmovingobjectsincrowdedenvironments[C].IEEE,2011.[16]HainesTS,XiangT.Backgroundsubtractionwithdirichletprocesses[M].ComputerVision-ECCV2012,Springer,2012,99-113.235[17]SedkyM,MoniriM,ChibelushiCC.Spectral-360:APhysics-BasedTechniqueforChangeDetection[C].IEEE,2014.[18]TiefenbacherP,HofmannM,MergetD,etal.PID-basedregulationofbackgrounddynamicsforforegroundsegmentation[C].IEEE,2014.[19]SchickA,BäumlM,StiefelhagenR.Improvingforegroundsegmentationswithprobabilisticsuperpixel240markovrandomfields[C].IEEE,2012.[20]MaddalenaL,PetrosinoA.TheSOBSalgorithm:whatarethelimits?[C].IEEE,2012.-9-'