基于图的流形排序的多层级融合显著性目标检测.pdf 9页

'中国科技论文在线http://www.paper.edu.cn基于图的流形排序的多层级融合显著性目#标检测**李翠萍，陈振学，赵迪5（山东大学控制科学与工程学院，济南250061）摘要：针对基于图的流形排序的显著性目标检测方法在突出显著性物体和抑制背景方面的不足，提出一种基于图的流形排序的多层级融合显著性检测方法。为充分利用图像信息，采用过分割算法分割原始图像，根据分割区域的数目由粗到细分割原图形成多层级过分割图像。10对每一层级图像采用基于图的流形排序方法生成初始显著图，再通过提前训练好的融合器获得相应的层级最优权重，多层级融合得到最终显著图。训练融合器时采用二次规划的方法，该过程是在MSRA-10K数据库上进行的，同时在ECSSD数据库和CSSD数据库上与8种流形算法按照四种评价指标进行比较分析。实验结果表明，所提出的方法相较于其它8种流行方法在不同数据库上表现出较高的检测准确率，提高了显著性目标检测的性能。15关键词：流形排序；多层级融合；显著性；过分割；二次规划中图分类号：TP391.4Multi-levelCombinationSaliencyObjectDetectionviaGraph-basedManifoldRanking20LICuiping,CHENZhenxue,ZHAODi(SchoolofControlScienceandEngineering,ShandongUniversity,Jinan250061)Abstract:Inthispaper,weformthesaliencymapbyamulti-levelcombinationapproachusinggraph-basedmanifoldrankingmethodasthefoundation.Thismethodaimstoovercomethedefectsthatthemerelygraph-basedmanifoldrankingmethodcannotdowellinhighlightingthesalientobjects25uniformlyandsuppressingthebackgroundeffectively.Weexecuteover-segmentationalgorithmforeachinputimage,andinordertomakefulluseoftheimageinformationandcues,wesegmenttheinputimageintomultilevelsfromthecoarsesttothefinestaccordingtothenumberofsegmentedregions.Andforeachlevel,graph-basedmanifoldrankingalgorithmisusedtogeneratetheinitialsaliencymap.Thenweobtaintheoptimalweightofeachlevelfromthetrainedcombinertomakea30multi-levelcombinationtogetthefinalsaliencymap.ThecombineristrainedusingquadraticprogrammingalgorithmontheMSRA-10Kdatabase.Intheexperiment,wecompareourmethodwiththeothereightstate-of-the-artmethodsintermsoffourevaluationcriteria.Theexperimentalresultsdemonstratethattheproposedmethodachievesconsistentandfavorableperformanceagainsttheeightstate-of-the-artmethodsondifferentdatabases.35Keywords:manifoldranking;multi-levelcombination;saliency;over-segmentation;quadraticprogramming0引言40显著性目标检测类似于人的视觉系统的运行机制，在面对复杂场景时首先会注意到感兴趣的区域并从中快速提取出来，旨在识别出图像中最感兴趣的区域。显著性检测在很多领域[1][2][3][4]有着广泛的应用，例如图像分类、图像和视频压缩、图像分割、图像拼接、基于内基金项目：国家自然科学基金项目(61203261)；江苏省大数据分析技术重点实验室(南京信息工程大学)开放课题(KXK1404)；广西多源信息挖掘与安全重点实验室开放基金（MIMS16-02）作者简介：李翠萍（1994-），女，硕士研究生，主要研究方向：模式识别与图像处理、显著性目标检测等通信联系人：陈振学（1977-），博士，山东大学副教授、硕导，目前研究方向：生物特征识别与机器视觉、人脸识别与信息融合等.E-mail:chenzhenxue@sdu.edu.cn-1- 中国科技论文在线http://www.paper.edu.cn[5][6][7]容的图像检索、视觉跟踪、目标识别等。[8][9]Koch等人首次提出了显著图的概念，到后来Itti等人实现了该显著性检测过程，通45过在多尺度空间中提取中心-周围对比度特征来检测显著性区域，该研究是显著性检测的开[10]端。Harel等人提出了基于图的显著性检测方法，该方法基于局部特征通过构建全连通有[11]向图，并在此基础上构建马尔科夫链来检测显著区域。Achanta等人首次提出了基于频率[12]调谐原理的显著性检测方法。Perazzi等人用两种计算对比度的方法去检测显著性区域，[13]分别是元素的唯一性和元素的空间分布。Cheng等人分别基于直方图对比度和区域对比度[14]50提出了两种基于全局的显著性检测方法。除此之外，Cheng等人还提出了一种基于软图像抽象的显著性检测方法，该方法既考虑了元素的全局唯一性，又加入了颜色的空间分布，更[19]有效的检测出显著性区域。Wei等人考虑了图像的背景特性，运用图像的边界先验和连接性先验，通过定义测地显著性来检测背景区域，进而得到图像的显著性目标区域。[15]本文所提出的方法是对Yan等人提出的基于图的流形排序的显著性检测方法的改进[16]55和提高。首先对每一张图像，采用Achanta等人提出的SLIC算法进行过分割，根据分割区域数目的不同由粗到细分成多个层级。对于每一层级的过分割图像，采用基于图的流形排序理论进行两级排序，得到对应每一层级的初始显著图。此时需要一个训练好的融合器赋予每一层级相应的最优权重，线性融合生成最终的显著图。融合器的训练采用二次规划的方法，[17]在MSRA-10K数据库上随机选取8000张作为训练集，配合相应的真实图训练各个层级的[18][18]60最佳权重。在ECSSD数据库和CSSD数据库上与其他8种流行算法按照四种评价指标进行比较分析，实验结果说明本文提出的方法有效的提高了显著性目标检测的性能。1分层级过分割本文算法的实现过程分成三部分：分层级过分割、基于图的流形排序、训练融合器生成[16]最终显著图。为了更充分的利用图像信息，对每一张输入图像I用SLIC算法进行分层级65过分割。SLIC算法将彩色图像转化为CIELAB颜色空间和XY坐标下的特征向量[L,a,b,x,y]，然后对这5维特征向量构造距离度量标准，并对图像像素进行局部聚类。实验过程中在权衡该显著性目标检测算法的性能指标和运行效率后，根据分割区域数目的不同以30为间隔从150到450分成11层级的过分割图像I=[I1,…,I11]，实现了由粗到细的过分割操作。实现过程如图1所示。70图1本文算法的实现过程-2- 中国科技论文在线http://www.paper.edu.cn2基于图的流形排序[20]m*n在基于图像的流行结构的排序方法中，给定一个数据集X={x1,…,xl,xl+1,…,xn}∈R，75该数据集中的元素即过分割后的超像素。这当中有些元素被标记为查询节点，其他元素则根n据其与查询节点的相关性进行排序。令f：X→R表示一个排序函数，其中fi为对应每个数TT据点xi的排序值，f可看成是一个向量f=[f1,…,fn]。令y=[y1,…,yn]表示一个指示向量，当xi是查询节点时，yi为1，否则为0。接下来在数据集上定义一幅图G=(V,E)，其中节点V是数据集X，边E是由亲和矩阵W=[wij]n*n定义的权重。给定G，则度矩阵为D=diag{d11,…,[21]80dnn},dii=∑jwij。排序算法源于分类问题的半监督学习，我们可以得到一个排序函数：*1f(DW)y(1)其中，是一个平衡常系数。亲和矩阵W中两个节点之间的权重定义为：cicj285we(2)ij其中，ci和cj表示对应数据节点在CIELAB颜色空间的平均值，用来控制权重的强度。由(2)式可以看出权重是基于颜色空间的距离来计算的。[22]根据基于视觉显著性的注意机制中的相关研究，我们把图像四条边界的超像素节点*90作为背景查询节点。第一级流形排序，当显背景查询节点给出时我们用归一化的排序值1-f来衡量节点的显著性。于是，我们用边界先验构建了四张显著性图，然后组合为一张显著性图作为第一级流形排序的背景结果图。具体来看：当分别以四条边界的节点作为背景查询节*点时，则指示向量y给出，所有的节点基于(1)式便可排序得到一个N维向量f（N表示图中节点的个数），向量中的每个元素表示与背景查询节点的相关性，它的补便是目标显著性*95的衡量值。把f归一化为0到1，以上边界节点为背景查询节点于是得到：*S(i)1f(i)(3)t其中，i是图中的超像素节点。同样，分别以下、左、右边界节点为背景查询节点可以得到100Sb,Sl,Sr。四副显著性图的整合过程如下：S(i)S(i)S(i)S(i)S(i)(4)bqtblr这种整合方式降低了不精确查询节点的影响，同时目标物体的一些显著部分会被有效识105别出来，能够利用更多地信息和线索得到更好的检测显著性物体。第二级流形排序采用自适应阈值对第一级的显著性图进行二值化，这样能够选出以显著性物体作为查询节点的前景节点。自适应阈值设置为整个显著性图的平均显著性值，这样可以使被选择的查询节点尽可能的覆盖显著性区域。于是，当查询节点给出时，形成指示向量**y，于是可通过(1)式得到排序向量f。把f归一化为0到1，则第二级流形排序形成的显著110图为：-3- 中国科技论文在线http://www.paper.edu.cn*Sf(i),i1,...,N(5)fq其中i指图中的超像素节点。于是，经过两级流形排序，我们得到了所有层级的初始显著图：115SS,m1,...,11(6)mfq(m)3训练融合器生成最终显著图在所有层级生成初始显著图后，我们需要训练一个融合器赋予各层级相应的最优权重，线性融合形成最终的显著图。该融合器的训练过程是在MSRA-10K数据库上进行的，从中120随机选取8000张图像作为训练集，配合相对应的8000张真实图，采用线性二次规划训练得到各层级最优权重系数。训练生成的权重向量设为W={w1,…,w11}，于是各层级的初始显著图经过融合器生成的最终显著图为：SwmSm,m1,...,11(7)m125该过程能够更均匀地检测到显著性物体，不仅有效的抑制了背景，当显著性目标与背景有相近的纹理时依然能够均匀检测出显著性物体，表明该显著性检测方法具有一定的鲁棒性，且具有更好的检测性能。4实验结果与分析130本文在MSRA-10K数据库上用8000张图像训练，剩余的2000张作为评价的测试集，记作MSRA-2K，其中包含对应的2000张人工标注的真实图。第二个数据库采用ECSSD数据库，该数据库包含1000张图像，以及对应的1000张人工标注的真实图。第三个数据库使用CSSD数据库，该数据库含有200张图像及其对应的200张人工标注的真实图。在每一个[15][23][24]数据库上，与8种流行的显著性检测算法进行比较，它们分别是：GMR，MSS，MC，[13][14][13][25][11]135RC，GC，HC，AC，FT。4.1实验参数设置[15]在计算排序函数时，(1)式中的参数作为平衡系数，对实验中的所有图像经验取值2[15]为0.99；在(2)式中，参数控制两节点的权重强度，对实验中的所有图像经验取值为0.1。1404.2评价指标我们分别在三个数据库上通过精确度-召回曲线（PR）、F-measure、接收器工作特性曲[26]线（ROC）和ROC曲线下的面积值（AUC）这四个指标来评价文中提到的所有方法。为了简化，我们用S表示通过各种算法得到的显著性图，并将其归一化0~255，用G表示二值真实图。实验中我们用0~255变化的固定阈值来对显著性图二值化得到M。-4- 中国科技论文在线http://www.paper.edu.cn1454.2.1精确度-召回曲线（PR）对于0~255变化的每个固定阈值，我们都能通过下式得到一对精确度/回归值，最终形成PR曲线：MGMGPrecision,Recall(8)MG150其中，|*|表示二值图像的非零输入值。4.2.2F-measure通常用精确度和召回的加权调和平均来综合评价显著性图，其含有非负权重：2(1)PrecisionRecallF(9)2PrecisionRecall1552其中为了增加精确度的重要性，根据[15]设置为0.3。4.2.3接收器工作特性曲线（ROC）对于0~255变化的每个固定阈值，我们用假正样本率（FPR）和真正样本率（TPR）得到成对数值，最终形成ROC曲线：160MGMGTPR,FPR(10)GG4.2.4ROC曲线下的面积值（AUC）ROC曲线是非负性能的二维表示，AUC提取其中的信息到一个单值，通过计算ROC165曲线以下的面积得到。4.3实验内容实验中分别在MSRA-2K数据库、ECSSD数据库和CSSD数据库上与其他8种流形方[15][23][24][13][14][13]法进行比较与分析，这8种方法依次为：GMR，MSS，MC，RC，GC，HC，[25][11]AC，FT。170图2和图3是在MSRA-2K数据库上的PR曲线、F-measure值和ROC曲线、AUC值这四种评价指标的实验结果。图4和图5是在ECSSD数据库上的PR曲线、F-measure值和ROC曲线、AUC值相应的实验结果。图6和图7是在CSSD数据库上针对PR曲线、F-measure值和ROC曲线、AUC值的实验结果。-5- 中国科技论文在线http://www.paper.edu.cn175图2MSRA-2K数据库上的PR曲线和F-measure值图3MSRA-2K数据库上的ROC曲线和AUC值180图4ECSSD数据库上的PR曲线和F-measure值-6- 中国科技论文在线http://www.paper.edu.cn185图5ECSSD数据库上的ROC曲线和AUC值图6CSSD数据库上的PR曲线和F-measure值190图7CSSD数据库上的ROC曲线和AUC值从实验结果图可以看出，在MSRA-2K、ECSSD、CSSD这三个数据库上，本文所提出195的显著性目标检测算法与其它算法相比有更高的精确度和召回率，通过柱状图可以看出F-measure值和AUC值比其他算法都有相对较高的值，说明我们的方法在检测显著性物体时更有效，具有更大的检测优势。此外，一些视觉比较的例子如图8所示。从中可以看出，本文方法能够更均匀的突出显著物体并且能有效的抑制背景。当显著目标物体与背景有相近的纹理或背景过于复杂时，依然能够均匀突出显著性目标物体，体现出本文的方法具有鲁棒200性，在检测目标物体时具有一定的优势。-7- 中国科技论文在线http://www.paper.edu.cn图8在MSRA-2K、ECSSD和CSSD三个数据库上不同方法的视觉比较前两行来自MSRA-2K数据库，中间两行来自ECSSD数据库，最后两行来自CSSD数据库5结论205本文基于图的流形排序算法，提出了一种利用多层级融合的方式来检测显著性目标的方法。把原始图像由粗到细过分割成多级层图像，然后针对每个层级用基于图的流形排序方法生成初始显著图，再经过训练好的融合器分配各层级相应的最优权重，线性融合得到最终的显著性图。融合器采用二次规划的方法训练出各层级最优权重。本文所提出的方法充分利用了图像的线索和信息，能够均匀突出显著性目标并有效的抑制背景。当显著性目标物体与背210景有相近的纹理时依然能够均匀的检测出显著性区域，说明该方法具有一定的鲁棒性。实验结果表明本文所提出的方法与其他8种流行算法相比具有更好的检测性能和更精确的检测结果。[参考文献](References)[1]A.BorjiandL.Itti.Sceneclassificationwithasparsesetofsalientregions[C].IEEEICRA,2011:1902-1908.215[2]J.Wang,L.Quan,J.Sun,X.Tang,andH.-Y.Shum.Picturecollage[J].CVPR,2006,1:347-354.[3]C.GuoandL.Zhang.Anovelmultiresolutionspatiotemporalsaliencydetectionmodelanditsapplicationsinimageandvideocompression[C].IEEETIP,2010.[4]Q.Li,Y.Zhou,andJ.Yang.Saliencybasedimagesegmentation[C].ICMT,2011:5068-5071.[5]L.Li,S.Jiang,Z.Zha,Z.Wu,andQ.Huang.Partial-duplicateimageretrievalviasaliency-guidedvisually220matching[J].IEEEMultiMedia,2013,20(3):13-23.[6]S.FrintropandM.Kessel.Mostsalientregiontracking.IEEEICRA,2009:1869-1874.[7]U.Rutishauser,D.Walther,C.Koch,andP.Perona.Isbottom-upattentionusefulforobjectrecognition[C].CVPR,2004.[8]T.Poggio,V.Torre,C.Koch.Computationalvisionandregularizationtheory[J].Nature,1985,317(26):225314-319.[9]L.Itti,C.Koch,andE.Niebur.Amodelofsaliency-basedvisualattentionforrapidsceneanalysis[C].IEEEPAMI,1998.[10]J.Harel,C.Koch,andP.Perona.Graph-basedvisualsaliency[J].AdvancesinNeuralInformationProcessingSystems,2007,19:545-552.230[11]R.Achanta,S.Hemami,F.Estrada,andS.Susstrunk.Frequencytunedsalientregiondetection[C].CVPR,2009.[12]F.Perazzi,P.Krahenbuhl,Y.Pritch,andA.Hornung.Saliencyfilters:Contrastbasedfilteringforsalientregiondetection[C].CVPR,2012:733-740.-8- 中国科技论文在线http://www.paper.edu.cn[13]M.-M.Cheng,N.J.Mitra,X.Huang,P.H.S.Torr,andS.-M.Hu.Globalcontrastbasedsalientregion235detection[C].IEEETPAMI,2014.[14]M.-M.Cheng,J.Warrell,W.-Y.Lin,S.Zheng,V.Vineet,andN.Crook.Efficientsalientregiondetectionwithsoftimageabstraction[C].ICCV,2013:1529-1536.[15]C.Yang,L.Zhang,H.Lu,X.Ruan,andM.-H.Yang.Saliencydetectionviagraph-basedmanifoldranking[C].CVPR,2013.240[16]R.Achanta,A.Shaji,K.Smith,A.Lucchi,P.Fua,andS.Susstrunk.Slicsuperpixels.TechnicalReport149300,EPFL,2010.[17]T.Liu,J.Sun,N.-N.Zheng,X.Tang,andH.-Y.Shum.Learningtodetectasalientobject[C].IEEEConferenceonComputerVisionandPatternRecognition,2007.[18]Q.Yan,L.Xu,J.Shi,andJ.Jia.Hierarchicalsaliencydetection[C].CVPR,2013:1155-1162.245[19]Y.Wei,F.Wen,W.Zhu,andJ.Sun.Geodesicsaliencyusingbackgroundpriors[C].ECCV,2012.[20]D.Zhou,J.Weston,A.Gretton,O.Bousquet,andB.Scholkopf.Rankingondatamanifolds[C].NIPS,2004.[21]D.Zhou,O.Bousquet,T.Lal,J.Weston,andB.Scholkopf.Learningwithlocalandglobalconsistency[C].NIPS,2003.[22]L.Itti,C.Koch,andE.Niebur.Amodelofsaliency-basedvisualattentionforrapidsceneanalysis[C].IEEE250PAMI,1998.[23]R.AchantaandS.S¨usstrunk.Saliencydetectionusingmaximumsymmetricsurround[C].ProceedingsoftheInternationalConferenceonImageProcessing,2010:2653-2656.[24]B.Jiang,L.Zhang,H.Lu,C.Yang,andM.-H.Yang.Saliencydetectionviaabsorbingmarkovchain[C].ICCV,2013.255[25]R.Achanta,F.Estrada,P.Wils,andS.Susstrunk.Salientregiondetectionandsegmentation[C].Comp.Vis.Sys,2008.[26]A.Borji,D.N.Sihite,andL.Itti.Salientobjectdetection:Abenchmark[C].ECCV,2012.-9-'