影响更新与compactness增强的显著目标检测.pdf 11页

'中国科技论文在线http://www.paper.edu.cn影响更新与compactness增强的显著目标检#测*吴建国，张志华5（安徽大学计算机科学与技术学院，安徽合肥230601）摘要：显著目标检测旨在提取图像中人眼感兴趣的部分。针对显著目标检测方法中一些算法检测的精确度不高，提出基于影响更新与compactness增强的显著目标检测方法。首先利用影响更新算法将背景先验中的信息扩散到整幅图像，获得初步显著图。然后引入低层次线索10compactness计算颜色空间和位置空间的差异形成补充显著图。最后从先验知识和低层次线索的角度将初步显著图与补充显著图进行线性融合。在MSRA-1000、CSSD、ECSSD数据集上的评估中，提出的算法展现出了明显的优势，能和最先进算法相媲美。实验表明低层次线索与先验知识的结合能够有效互补，从整体上提高了检测的精确度。关键词：影响更新，compactness，背景先验，中心先验15中图分类号：TP301.6文献标识码ADOI:10.3969/j.issn.1000-386x.2015.09.001InfluenceupdatingandcompactnessenhancedapproachofsaliencydetectionWUJianguo,ZHANGZhihua20(SchoolofComputerScienceandTechnology,AnhuiUniversity,HefeiAnhui,230601)Abstract:AbstractSalientobjectdetectionaimstodetecttheattractiveobjectstohumanviewersinanimage.Inordertosolvethelowdetectionprecisionproblemofsomecurrentalgorithms,anewmethodbasedoninfluenceupdatingandcompactnessfeatureisproposed.Firstly,itdiffusesthebackgroundinformationtotheentireimagebyusinginfluenceupdatingalgorithmandobtainsthe25initialsaliencymap.Then,itintroducesthecompactnessfeature,akindofimagelow-levelcue,toobtaintheaddingsaliencymapbycomputingthedifferenceofcolorspaceandlocationspacerespectively.Finally,itfusestheinitialsaliencymapandtheaddingsaliencymaplinearInfluenceupdatingandcompactnessenhancedapproachofsaliencydetectionlytoobtainthefinalmap.ExperimentsevaluatetheproposedmethodondatasetsofMSRA-1000,CSSDandECSSD,theresults30showthemethodhasobviousadvantagesanditsperformanceiscomparabletothestate-of-the-artapproaches.Experimentalresultsdemonstratethefusingpriorknowledgesandlow-levelcuesisreasonableeffectiveandcanimprovethedetectingaccuracy.Keywords:Influenceupdating,Compactness,Backgroundprior,Centerprior350引言视觉注意是人眼视觉的一种重要机制，它能过滤掉多余的信息，快速锁定显著目标。近年来，许多模拟生物视觉系统的计算模型被提出用以处理显著目标检测问题。作为预处理步骤，显著目标检测已经被应用于图像分类、图像压缩和对象定位等视觉计算领域。40视觉注意包含两种机制：任务驱动和刺激驱动。相对应的显著目标检测方法分为自上而下和自下而上。自上而下的方法涉及到高层次的知识作为特定目标的信息指引，而且需要对大量含有目标实例的图像进行监督方式的学习。与此相反，自下而上的方法主要基于低层次基金项目：2013年高等学校博士学科点专项科研基金联合资助课题（20133401110009）作者简介：吴建国，男，教授，博导，主要研究方向：人机交互.E-mail:wjg5408@163.com-1- 中国科技论文在线http://www.paper.edu.cn的视觉刺激。作为基础的视觉任务，显著目标检测在过去的几年中得到了广泛的研究，许多算法也被45提出。大多数自下而上的方法都基于视觉线索分离显著目标和背景区域。常用低层次线索包括focusness、uniqueness和compactness。focusness源于摄影构图方法，认为图像中焦点聚[1]集的地方为显著目标。Uniqueness利用图像的低层次特征(颜色，强度，方位)确定图像像[2]素或区域与周围的差异，进行特征对比突出显著目标。相对于uniqueness的特征对比compactness考虑了特征的空间差异，显著目标在图像空间中趋向于较小的空间差异而背景[3]50区域分布在整个图像中有着较大的空间差异。单纯的利用视觉线索往往达不到预期的效果，人们开始引入先验知识来提升算法的性[4]能。Goferman引入了包含前景特征的中心先验，假设显著目标总是位于图片的中心处。[5]Yang等人利用凸包的概念来改善中心先验从而应对显著目标不在中心的情况。背景先验[6]认为图像的4个边界通常都是背景区域，比较图像边界区域与其他区域的特征差距确定显55著目标。Li等人通过选择部分符合要求的边界区域作为背景，从而改善背景先验应对显著[7]目标在边界的情况。本文综合考虑了低层次线索和先验知识的结合。利用低层次线索compactness增强基于背景先验的影响更新，相互补充，提升算法整体的准确率。(a)(b)(c)(d)(e)(f)依次：(a)原图,(b)影响更新产生的初步显著图,(c)Compactness产生的补充显著图；(d)初步显著图与补充显著图融合得到的增强显著图；(e)矫正后得到的最终显著图；(e)模板60图1本文方法实例Fig.1.Visualcomparisonofsaliencymapsproducedbydifferentsteps.(a)Inputimage;(b)Influenceupdating;(c)Compactnessenhanceinfluenceupdating;(d)Pixel-levelcorrections;(e)Groundtruth.1基于背景先验的影响更新显著性是人眼视觉的特殊产物，它不仅仅是由人的兴趣所决定，更多地是由被观察物体65的颜色、纹理、梯度、边缘等固有的图像属性所决定。近来，越来越多的自下而上的方法偏向于假设图像的边缘作为背景种子来构建显著图，这样的假设称为背景先验。具体来说就是假设图像边缘为背景区域，并根据图像区域之间的空间关系建立图模型结构，依据图模型结构计算背景区域与其他区域的关联性得到显著值。Wei等人将每一个区域与图像边缘的最短[8]距离定义为它们的显著值。在此基础上有人利用图像边缘的对比构成了一个新的区域特征[9]70向量并用该向量用来表示背景的特征。Yang等人通过流行排序计算每个图像区域与图像-2- 中国科技论文在线http://www.paper.edu.cn[10]边缘的相关性，并将此相关性作为显著值。而通过一个更加稳定的基于边缘的算法考虑[11]图像区域的空间分布取得了更好的效果。这些方法的突出表现表明了背景先验在显著性检测领域的重要性。影响更新是以背景先验为基础的一个迭代的过程。将图像的边缘区域看作是黑色，而图75像的显著性检测可类比为黑色由外向内蔓延的过程。首先根据区域间的空间关系和颜色特征建立区域之间的影响因子矩阵，然后根据边缘区域与其他区域的影响因子并利用影响更新算法，使边缘区域去影响(影响因子越大所受影响越大)其他区域，然后更新区域的特征信息，直到所有区域的特征信息变化程度小于预定值，影响更新的过程结束。2本文方法80本文方法主要包括基于背景先验的影响更新，compactness，超像素内的像素级矫正。流程图如图2所示。[12]首先，将输入图像作超像素分割，根据分割所得区域间的特征关系构造影响因子矩阵，进行影响更新，得到初步显著图。再计算图像的compactness特征，并利用流行排序将区域间的特征关系进行全局的扩散得到补充显著图。最后将初步显著图与补充显著图融合并85进行超像素内的像素级矫正得到最终显著图。影响更新超像增矫素分强原图超像增强显正最终显割素著图著图Compactness图2本文算法流程图Fig.2.AlgorithmChart2.1基于背景先验的影响更新902.1.1影响因子矩阵首先要构建一个在影响更新过程中起重要作用的影响因子矩阵。我们先利用梯度最小化[13]算法对图像进行预处理，得到一个保留图像重要信息的平稳抽象层，再利用SLIC分割算[12]法将预处理过的图像分割成N个超像素区域，而图像边界上的超像素区域构成了边界节点集合，本文中以节点表示区域。95直观上，我们认为如果两个节点在空间上临近颜色特征上相似，它们之间就会产生较大的影响因子。任何一对节点的颜色特征的相似性是有CIELAB色彩空间中所定义的距离来衡量的。而对于空间上的邻近关系，我们引入图论中K层邻近的概念，邻层区域的扩大使-3- 中国科技论文在线http://www.paper.edu.cn节点间的空间关系更加紧密从而使得显著目标的空间特征更加集中。由于本文中是利用边界[14]节点来进行影响更新的，故采用测地线约束将所有的边界节点连接起来从而加强边界节100点之间的联系。我们通过定义超像素节点i对于超像素节点j的影响因子fij来建立影响因子矩阵Ff。ijNN||cicj,||exp()jNBi()2f(1)ij0ijorotherwise105其中||cicj,||代表CIELAB色彩空间中超像素点i和j之间的欧式距离是一个控制相似性力度的参数。NBi()是节点i邻居的集合。为了归一化影响因子矩阵，我们引入度矩阵Ddiagdd12,,,dN其中，dfijij。最后根据下式对影响因子矩阵进行归一化：*1FDF(2)2.1.2影响更新110影响更新的过程基于大多数图像的本质特点和图像内节点间的联系。首先，属于前景的节点通常有着相似的颜色特征，通过利用邻居间的固有联系来更新邻居的特征信息，从而加强相似区域显著性的一致性并形成一个稳定的局部环境。其次，显著目标与背景在颜色空间中有很大的差异性，通过邻居间的影响，背景和显著目标之间会出现一条明显的分界线。我们将DN图像分割的超像素的特征定义为Rr,,r,其中N表示超像素的个数，D表示1NTN1115特征的维数，利用归一化方程V[(),Vr,()]Vr,VR:[0,1]表示节点的特1N征值。我们将影响更新的一次迭代阐述如下：NVt1()rifVrijt()j(3)j1其中fij是通过公式(1)计算得到的影响因子，t是迭代次数。一方面我们选取了与人类视觉预测契合度最高的CIELab色彩空间距离作为特征输入，另一方面，按照大多数图像的120固有特点选取边缘节点作为背景，一般情况下都会有不错的效果，但当一些显著目标出现在图像边缘时，基于背景先验的一切方法都会出现较大的误差，为了减小这种误差，本文经验为主地从所有的边缘节点中选出CIELAB色彩空间距离较小的70%作为更新过程中的边缘节点集合B"。我们可以从图3中看到检测精度有明显的提高。(a)(b)(c)(d)依次：(a)输入原图，(b)全部边缘节点，(c)本文选择的边缘节点，(d)模板125-4- 中国科技论文在线http://www.paper.edu.cn图3不同边缘节点效果对比Fig.3.Salientobjectsatimageborder.(a)Inputimage(b)Useallboundarynodes(c)Selectedboundarynodes(d)Groundtruth整个影响更新的过程中，我们设定边缘节点的特征值恒为1，非边缘节点的初始特征值130为0。由公式(3)可以看出，对于一个给的定节点i,它的下一时刻的特征值Vr()是由邻居ti1的特征值和它与邻居之间的影响因子共同决定的，也就是说，节点i的最终特征值会极大程度上的与它的邻居和边缘节点相关联。图4中以第四个节点展示公式(3)工作一次的过程。超像素节点12345678910影响因子0.30.1000.0300.05000初始特征值1100000011迭代一次110.30.4000.350.2119957571133881010446622图4影响更新迭代一次135Fig.4.Processofinfluenceupdating.*算法1简要说明基于背景先验的影响更新生成初步显著图S的过程。1算法1基于背景先验的影响更新*输入:归一化的影响因子矩阵F。边缘节点集合B"和非边缘节点集合U。1.初始化边缘节点为1，非边缘节点为0。2.初始化迭代次数。3.根据公式(3),对每一个rU，利用邻居节点的特征i值和与邻居间的影响因子做一次影响更新。4.用多次迭代的方差var(,VV,V)与阈值作tt1tconst对比，若小于阈值则说明节点的特征值基本收敛，进入下一步，否则返回上一步。*5.利用函数spmapS2()将节点的特征值映射为显著1值。输出：基于背景先验的影响更新产生的初步显著图。2.2Compactness直观上，显著目标在图像空间上的分布趋向于较小的空间变化，而背景区域一般是分布[15]在整个图像上并且有很高的空间变化。compactness应用于显著目标检测的依据就是这种-5- 中国科技论文在线http://www.paper.edu.cn140空间上的变化差异。定义节点i和j的相似度a：ij||cicj,||a(4)ij2为了更精确的描述节点间的相似性，本文采用流行性排序将节点间的相似性扩散到整个图中。我们用以下公式阐述扩散的过程：T1145H()DFA(5)T其中Aa[],Hh[]是扩散过后的相似度矩阵。ijNNijNN图像上显著目标和背景区域的分布差异导致了超像素节点在空间上变化的差异。相对于只考虑颜色空间变化的传统方法，本文引入了位置空间的变化。对于颜色空间，我们引出两个基础知识一个是超像素节点在颜色空间的欧式距离作为计[16]150算为空间变化的基础数据。另一个是compactness认为颜色空间变化较大的超像素节点成为显著目标的可能性越小。基于上述两个知识采用下式计算超像素节点颜色空间变化：Nj1hnijj||bjui||svi()(6)Nj1hnijjxy其中，n是节点j中像素点的个数，b[b,b]是节点j色彩空间的中心,均值jjjjxyu[u,u]的计算方式如下：iiiNxxj1hnbijjj155u(7)iNj1hnijjNyyj1hnbijjju(8)iNj1hnijj对于位置空间，我们依据中心先验，充分考虑超像素节点到图像中心的位置关系，采用以下公式表述位置空间的变化：Nj1hnijj||bjp||160sdi(9)Nj1hnijj其中，p[pp,]是图片中心的位置坐标。xy将两个方面的空间变化进行加权融合，形成补充显著图:*Si21Norm1svi2sdi(10)其中Normx()是归一化函数，可将x归一化在[0,1]之间。1652.3融合基于背景先验的方法生成的显著图或多或少会有部分显著目标被检测为背景，而compactness可以有效的抑制这种误检情况，从而达到增强的目的。本文将增强显著图表述为：-6- 中国科技论文在线http://www.paper.edu.cn*SNorm(SS)(11)121702.4超像素内的像素级矫正其本文的显著目标检测方法是基于图像分割成的多个超像素区域。因为图像分割的超像素数量要比像素数量少的多，所以在超像素层次上显著值的计算量会有大幅度的降低。但考虑到超像素包含多个像素，且像素间具有差异性，我们不能将超像素的显著值直接分配给每175个像素。本文根据超像素内像素点距离颜色空间中心位置的差异为像素分配矫正显著值。计算公式如下：N*1i1Si()(||IpiC||)(pi)S(p)(12)N1i1(||IpiCi||)(p)*其中，Si()是像素节点i的显著值，Ci是超像素节点i的颜色空间中心，||IpiC||表180示像素p到颜色空间中心的欧式距离，是控制常量，()是指示函数。3实验17]18][18]我们分别在MSRA-1000[，CSSD[，ECSSD三个基准数据集上与一些先进显著目[5][4]18][8][17]标检测算法作对比，包括BMS，MR，PCA，HS[，GS，SF。对比算法均来自作者提供的公开代码。1853.1数据集MSRA-1000：目前使用较多的数据集，图像相对简单。大部分图像只有一个显著目标，且前景和背景之间有着明显的对比差异。CSSD：包含200张图像，大多数图像有着复杂的场景，前景和背景具有不同的形状和空间分布，能够反映自然图像的一般情况。190ECSSD：包含1000张图片，CSSD数据集的扩充，场景更加复杂且具有多个不同位置和大小的目标。3.2评估标准本文采精确度-召回率(P-R)曲线方法评估显著目标检测算法的性能。计算P-R曲线时，首先设定一个处于[0,255]的阈值，根据阈值构建显著图的前景二值图。然后将前景二值图与195模板对比产生一对P-R值。最后通过改变阈值获得一幅图像的P-R曲线。将数据集中所有图像的P-R曲线取均值即得到数据集的P-R曲线。精确度、召回率的计算公式分别如下：P/xxgaxxax(13)Rxxgaxx/gx(14)xgxxax其中为模板二值图，为检测结果二值图。-7- 中国科技论文在线http://www.paper.edu.cn2003.3评估本文算法图5中展示了初步显著图在增强前和增强后的对比差异。由此可知，低层次线索compactness与基于背景先验的结合能有效的提高检测的精确度。如图6所示，超像素内像素级的矫正后效果会有部分提升。3.3.1MSRA-1000数据集205图7展示了本文算法与其他算法在MRSA-1000数据集上的P-R曲线的对比。除MR算法外，本文算法明显超过其他算法。虽然P-R曲线在Recall值位于0.7-0.8间与MR算法有部分重合，但从整体效果来看，本文算法更优。noisicerPRecall210图5增强前后对比Fig.5.Theresultscomparisonwithandwithoutthecompactnessenhancement.noisicerPRecall图6矫正前后对比Fig.6.Theresultscomparisonwithandwithoutpixel-levelcorrection.-8- 中国科技论文在线http://www.paper.edu.cnnoisicerPRecall215图7MSRA-1000数据集P-R曲线Fig.7.Precision-recallcurvesontheMSRA-1000dataset.3.3.2CSSD数据集图8展示了本文算法与其他算法在CSSD数据集上P-R曲线的对比。从图中曲线的对比220可以看出，本文算法优于所对比的6种算法。noisicerPRecall图8CSSD数据集P-R曲线Fig.8.Precision-recallcurvesontheCSSDdataset.2253.3.3ECSSD数据集为了进一步验证本文算法在复杂数据集上的优越性，我们选择了ECSSD数据集。图9展示了对比结果。相对于前两个数据集的在对比优势上的微弱差距，ECSSD数据集上P-R曲线的对比可以看出本文算法明显优于其他对比算法。-9- 中国科技论文在线http://www.paper.edu.cnnoisicerPRecall230图9ECSSD数据集P-R曲线Fig.9.Precision-recallcurvesontheECSSDdataset.3.3.4质量比较图10展示了本文算法与其他算法的质量比较。其中的第一、二列选自MRSA-1000数据集，第三、四列选自CSSD数据集，最后两列选自ECSSD数据集。从质量对比图中可以235看出本文算法在比较简单的数据集上的检测结果接近模板，而在CSSD和ECSSD这两个相对比较复杂的数据集中依然有优秀的表现，能够有效的突出显著目标。我们着重与同样基于背景先验的MR方法做对比说明。从最后两列的比较中我们可以看出，基于背景先验的方法有可能将一部分显著目标检测为背景，而我们引入低层次线索与先验知识的结合可以有效的抵制这种误检情况的发生。2401从上往下依次：原图，SF方法，BMS方法，GS方法，PCA方法，HS方法，MR方法，OURS，模板-10- 中国科技论文在线http://www.paper.edu.cn图10质量对比Fig.10.Ourvisualimagesaliencymapscomparedtodifferentsalientobjectdetectionmethods.Thecolumn(a)istheoriginalimage.thecolumn(j)isthegroundtruth,andtheremaining245columnsareresultsoftheevaluatedmethods.Ourmethodisthecolumn(i)oftheresults.4结语本文总结了前人的研究成果，在基于背景先验的影响更新中，我们采用影响更新算法将背景的信息通过邻居节点间的联系传播到整幅图片。再选择低层次线索中的compactness计算显著值。最后实现低层次线索与先验知识的结合。本文算法在多个数据集上的都取得了较250好的效果，从而证明低层次线索与先验知识结合提升算法的可行性。不同的先验知识和低层次线索对于图像的作用是不同的。在未来的研究中，可以考虑如何更好地实现多种低层次线索和多种先验知识的融合。[参考文献](References)[1]JiangP,LingH,YuJ,etal.Salientregiondetectionbyufo:Uniqueness,focusnessand255objectness[C]//ProceedingoftheIEEEInternationalConferenceonComputerVision.2013:1976-1983.[2]ChengMM,MitraNJ,HuangX,etal.Globalcontrastbasedsalientregiondetection[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2015,37(3):569-582.[3]ShiK,WangK,LuJ,etal.PISA:Pixelwiseimagesaliencybyaggregatingcomplementaryappearancecontrastmeasureswithspatialpriors[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPattern260Recoginition.2013:2115-2122.[4]GofermanS,Zelnik-ManorL,TalA.Context-awaresaliencydetection[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2012,34(10):1915-1926.[5]YangC,ZhangL,LuH.Graph-regularizedsaliencydetectionwithconvex-hull-basedcenterprior[J].IEEESignalProcessingLetters,2013,20(7):637-640.265[6]WangJ,LuH,LiX,etal.Saliencydetectionviabackgroundandforegroundseedselection[J].Neurocomputing,2015,152:359-368.[7]LiH,LuH,LinZ,etal.Innerandinterlabelpropagation:salientobjectdetectioninthewild[J].IEEETransactionsonImageProcessing,2015,24(10):3176-3186.[8]WeiY,WenF,ZhuW,etal.Geodesicsaliencyusingbackgroundpriors[J].ComputerVision-ECCV2012,2702012:29-42.[9]JiangH,WangJ,YuanZ,etal.Salientobjectdetection:Adiscriminativeregionalintegrationapproach[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2013:2083-2090.[10]YangC,ZhangL,LuH,etal.Saliencydetectionviagraph-basedmanifoldranking[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2013:3166-3173.275[11]ZhuW,LiangS,WeiY,etal.Saliencyoptimizationfromrobustbackgrounddetection[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2014:2814-2821.[12]AchantaR,ShajiA,SmithK,etal.SLICsuperpixelscomparedtostate-of-the-artsuperpixelmethods[J].IEEEtransactionsonpatternanalysisandmachineintelligence,2012,34(11):2274-2282.[13]XuL,LuC,XuY,etal.ImagesmoothingviaL0gradientminimization[C]//ACMTransactionson280Graphics(TOG).ACM,2011,30(6):174.[14]JiangB,ZhangL,LuH,etal.Saliencydetectionviaabsorbingmarkovchain[C]//ProceedingsoftheIEEEInternationalConferenceonComputerVision.2013:1665-1672.[15]ZhouL,YangZ,YuanQ,etal.Salientregiondetectionviaintergratingdiffusion-basedcompactnessandlocalcontrast[J].IEEETransactionsonImageProcessing,2015,24(11):3308-3320.285[16]QinY,LuH,XuY,etal.Saliencydetectionviacellularautomata[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2015:110-119.[17]BorjiA,ChengMM,JiangH,etal.Salientobjectdetection:Abenchmark[J].IEEETransactionsonImageProcessing,2015,24(12):5706-5722.[18]YanQ,XuL,ShiJ,etal.Hierarchicalsaliencydetection[C]//ProceedingsoftheIEEEConferenceon290ComputerVisionandPatternRecognition.2013:1155-1162.-11-'