手持终端采集全景图像中的车牌定位算法.pdf 8页

'中国科技论文在线http://www.paper.edu.cn手持终端采集全景图像中的车牌定位算法#**赵麒瑞，刘煜5（国防科学技术大学信息系统与管理学院）摘要：基于手持终端的车牌定位是基于手持终端的车牌号码识别系统的基础，是实现车牌字符分隔以及识别的先决条件。使用手持终端采集到的全景图像，容易受到复杂背景、光照条件，以及拍摄角度和距离等因素的影响，对车牌定位产生较大干扰。本文在车牌定位中，针对出现的复杂背景干扰，结合马尔科夫随机场图像分割理论，构建前景-背景分割模型，提10取出前景中的车辆区域，实现复杂背景的去除；针对不同拍照角度和距离产生的影响，提取车牌色调特征信息，建立色调阈值区间，使用反馈调节的算法，得到所有可能车牌区域，再利用车牌特有的字符特征，去除伪车牌，实现准确定位。基于手持终端的车牌定位方法，能较好的去除背景干扰，克服手持终端拍摄角度和距离的影响，具有较高的车牌定位准确率。关键词：全景图像，前景分割，车牌定位15中图分类号：TPThelicenseplatelocatingmethodBasedontheHandheldterminalsZHAOQirui,LIUYu20(CollegeofInformationSystemandManagement,NationalUniversityofDefenseTechnology)Abstract:Licenseplatelocalizationbasedonthehandheldterminalsisthebasisofthelicenseplatenumberrecognitionsystembasedonhand-heldterminals.Duringlocating,usingahandheldterminal,licenseplateimagesarevulnerabletothecomplexbackgroundandlightconditions,andthefactorssuchastheshootingangleanddistancealsohavegreatinfluenceonlicenseplatelocalization.Copingwiththe25complexbackgroundinterference,thispaperproposesamethodcombiningthetheoryofMarkovrandomfieldimagesegmentation,buildingaforeground-backgroundsegmentationmodel.Vehiclesintheforegroundareaareextracted,thusadaptingtocomplexbackground;Consideringtheimpactofdifferentphotoangleanddistance,weuselicenseplatecolorcharacteristicinformationandfindatonalthresholdvalueinterval.Byusingfeedbackcontrolalgorithm,wegetallpotentiallicenseplateareas.30Byutilizingcharacterfeatureofthelicenseplates,wecanremovethefalselicenseplates,achievingtheultimatelocalization.Ourmethodcanbetterremovethebackgroundinterference,overcometheinfluenceofthehandsetcameraangleanddistance,achievingthehighlicenseplatelocalizationaccuracy.Keywords:Complexbackground,Foregroundsegmentation,Licenseplatelocation350引言传统的车牌识别系统主要是基于固定平台和固定场景，图像采集不够灵活，识别方法较为单一，应用范围受到了极大限制。基于手持终端的车牌号码识别系统，是基于便携的手持终端设计的一种使用灵活的车牌识别系统，可以方便的应用到多个场景的车牌识别，具有更40为广泛的使用范围。在车牌号码识别系统中首先要解决的问题就是车牌定位，它是车牌字符分隔和识别的基础，从采集图像中实现准确的车牌定位，对车牌识别系统的识别准确率具有重要的影响。基金项目：高等学校博士学科点专项科研基金课题（20134307120040）作者简介：赵麒瑞（1988-），男，硕士研究生，主要研究方向：计算摄影通信联系人：刘煜（1983-），男，国防科技大学副教授、硕导，主要研究方向：计算摄影.E-mail:jasonyuliu@nudt.edu.cn-1- 中国科技论文在线http://www.paper.edu.cn[1-3]45目前常用的车牌定位方法主要有：基于车牌边缘信息和纹理特征的方法，基于颜色[4-7][8]信息特征的方法，以及基于神经网络的方法等。基于边缘信息和纹理特征的方法在复杂背景边缘较多的情况下定位效果收到了极大影响，基于颜色信息特征的方法容易受到与车牌颜色相近的颜色块和复杂背景的干扰，而基于神经网络的方法的计算量较大。在这里提出一种基于马尔科夫随机场的图像前景背景分割方法，去除背景干扰，色调特征阈值反馈调节50方法，来克服以上存在的不足。基于手持终端的车牌定位，图像的采集是建立在手持终端，经常受到复杂背景、光照条件等因素的干扰，以及拍摄角度和距离的影响。如表1所示，列举了一系列手持终端采集图像受到的干扰因素：图（a）所示，背景中含有与车牌颜色相近的干扰色块，图（b）所示背景中含有强光干扰，图（c）和（d）所示为拍摄角度的影响，图（e）和（f）所示为拍摄距55离的影响。表1车牌干扰因素列举(a)背景干扰(b)强光干扰(c)小角度拍摄(d)大角度拍摄(e)近距离拍摄(f)远距离拍摄如图1所示，是基于手持终端的车牌定位方法的流程设计。图像采集使用手持终端设备拍摄含有车牌信息的图像，前景提取是基于手持终端拍照特征，使用马尔科夫随机，去除复杂背景的干扰，分割位于图像前景中的车辆区域，色调特征提取，是将图像变换到HSI空60间，提取出色调分量信息；投影统计是结合车牌的先验色调信息，标记蓝、黄、白、黑等不同类型车牌的颜色像素点，将像素点分别在水平方向和垂直方向上做投影，得到车牌的位置坐标区间；粗定位是在投影统计的基础上，对初始拍摄图像上按照投影所得坐标区间进行车-2- 中国科技论文在线http://www.paper.edu.cn牌区域分割，得到可能的车牌区域，车牌精确定位是提取粗定位的车牌区域的几何高宽比特征和区域字符-背景颜色像素比，去除伪车牌。65图1定位方法流程示意图1图像预处理车牌图像的预处理，主要包括基于手持终端的图像采集，图像的前景区域提取，为实现车牌的定位对图像进行先期处理。70图像采集使用手持终端设备，由于手持终端的摄像头视角有限，前景背景之间区分较大，含有车牌信息的车辆区域一般位于图像前景，利用手持终端的这一特点，分割前景背景，去除复杂背景的干扰，快速提取车辆区域。1.1前景提取马尔科夫随机场应用于图像分割是一种较为有效的分割方法，提供了前景和背景分割的[9-11]75数学基础和理论框架，即将前景边缘像素和背景边缘像素作为种子标记，以马尔科夫随机场模型的能量函数最小化作为约束条件，将边缘上的前景背景标记传播到图像上的其余像素点上，从而得到连通的前景区域。前景提取的过程实质上就是一个将标记X=1,0，其中1表示前景，0表示背景，分配给每一个像素点r（rYY，是图像所有像素点的集合），使概率PX|Y（）最大的二值标记。80在马尔科夫随机场模型中，将图像中的像素点分为两种形式的势团：由全部像素点组成[12]的势团c和由全部像素点四领域点组成的势团c。势团c的像素点r可以分为三类：前121景边缘点集合E、背景边缘点集合E和非边缘点集合N，其势函数定义为：fbearE1ffr（）0rN（1）1earE2b其中aa、为大于0的常数。1285势团c上，相邻像素点在空间上具有一致性关系，对于像素点r的四邻域像素点集合2Nr，其势函数为：-3- 中国科技论文在线http://www.paper.edu.cn2fr（2）(,)exp(||llijcicj||/)（2）irN1=llij其中，函数(,)llij定义为：(,)llij，llij、为节点rrij、的标记，0llij2cc、为节点rr、的RGB颜色矢量，为常数。ijij90在一阶邻域的情况下，Spitzer和Averintsev等人证明马尔科夫随机场与吉布斯随机场的等价性，即一阶马尔科夫随机场就是一阶吉布斯随机场。Hammersley和Clifford等人在此基础上建立了马尔科夫随机场和吉布斯随机场的对应等价关系，即Hammersley—Clifford定[13]理。马尔科夫随机场概率PX|Y（）的最大似然概率求解等价于吉布斯能量函数[14-16]PXY（；）最小化，将势函数（1）和（2）带入马尔科夫随机场Ising模型，得到吉布95斯能量函数表示如下：-1PXY=（；）（Z）exp11fr（）+22fr（）（3）iY其中，Z是配分函数。在图像分割过程中，将待分割的图像看作是无向图，设前景端点s和背景端点h，分别代表背景标记像素点和前景标记像素点，需要把图分割成两个部，若像素点属于背景边缘点，100则一个从节点s到像素点的权重为a；若像素点属于前景边缘点，则一个从节点s到像素点1[17]权重为a，像素点到它的邻域节点的无向边的权重为fr（）。采用文献基于图分割的组22合优化方法最小化能量函数的方法，实现图的最优分割，提取达到位于前景的车辆区域。1.2色调特征提取[18]《中华人民共和国机动车号牌》对车牌的颜色和字符做出了明确规范，车牌的背景105有蓝色、黄色、白色、黑色四类，车牌字符颜色有白色、黑色、红色三类，且车牌背景和字符之间有特定搭配，故提取图像的颜色特征是实现车牌定位的重要方面。HSI彩色模型是用H、S、I三种分量表示颜色特性，反映了人们的视觉系统感知彩色的方式，在图像处理和计算机视觉中具有重要应用，可以大大简化图像分析和处理的工作量。提取分割出的车辆区域的色调特征信息，是将车辆区域的RGB图像转换为具有表示色110调通道的HSI图像，提取车辆区域图像中所蕴含的色调信息分量H。其变换过程描述如下：-4- 中国科技论文在线http://www.paper.edu.cn,BGH360,BG（4）1RGRBarccos21RG2RBGB2基于上述变换公式，可以得到待检测车辆区域HSI图像，如表2所示，为RGB色彩空间和HIS色彩空间变换的常见颜色对照表，其中蓝色、黄色、黑色、白色对应的色调分量H分别是240、60、0、90。通过提取图像的色调分量H，作为车牌定位的投影统计量，实现115车牌定位对图像的预处理。表2颜色对照表蓝色黄色黑色红色白色RGB0,0,255255,255,00,0,0255,0,255255,255,255HSI240,1,160,1,10,0,00,1,190,0,12车牌定位2.1车牌粗定位120车牌定位是在图像预处理的基础上，将得到的HSI色彩空间图像进行投影，统计相应的色调像素点，得到可能的车牌区域。考虑到颜色可能受到噪声、光照条件等因素的干扰，H分量存在一定的波动，故分别对各种车牌颜色设定H分量统计的限定阈值。假设是可能的车牌区域，则区域内像素点标记方法如下所示：1,H分量在阈值范围ij,Bw（5）ij,0,其他125在投影统计过程中加入反馈调节，先设定较小范围的初始阈值进行检测，如果不能检测到车牌，再逐步扩大阈值的检测范围，直到得出可能车牌区域，若超出限定阈值，则视为图像不存在车牌区域。将标记像素点分别在水平方向和垂直方向上做投影，得到车牌的位置坐标信息，在初始拍摄图像上做相应分割，实现车牌的粗定位，得到可能的车牌区域。2.2车牌精确定位130在粗定位的基础上，进一步利用车牌先验信息去除伪车牌，提取的先验信息主要是车牌区域的几何高宽比特征和车牌区域字符-背景颜色像素比。提取车牌的几何特征主要是提取车牌的高宽比，提取颜色边缘检测信息，主要是提取粗定位车牌区域内的字符颜色和背景颜色的像素点的比值。由先验知识可知，标准车牌的高宽比为：140mm：440mm=1:3.14，考135虑到可能出现的形变因素，将这一比例设置为某一阈值范围。首先将区域分别进行水平和垂-5- 中国科技论文在线http://www.paper.edu.cn直的投影，得到区域的高度和宽度，如高宽比超出设定阈值范围，则认为该粗定位区域为伪车牌；进一步对粗定位车牌进行色彩边缘信息检测，得出字符和背景的区域，统计区域字符-背景颜色像素比，不在设定的区域字符-背景颜色像素比波动区间的区域择视为伪车牌，最终得到精确定位的车牌区域。1403实验结果及分析在实验中，使用手机作为手持终端设备进行图像采集，在停车场、道路边、交通路口等不同场景随机拍摄含有车牌信息的图片，建立实验的图像数据集，并将其按照出现的干扰分2类作为试验输入数据，进行车牌定位测试。在实验过程中，调整[,,,aa,]车辆区域1212提取模型的不同参数，实现前景和背景的分割，通过色调阈值等信息的反馈调节，实现车牌145的精确定位，具体的算法过程如图描述。实验结果如表3所示：表3实验结果原始图像前景图像HSI图像投影统计车牌定位图片数定位率背景12592%干扰强光11290%干扰小角度15696%图像大角度13292%图像近距离14396%图像-6- 中国科技论文在线http://www.paper.edu.cn远距离12493%图像通过实验结果表3所示，图像的采集对定位最终结果具有重要的影响，近距离和小角度的图像采集，车牌的定位结果准确率较高，远距离拍摄，对图像前景背景分割产生影响，降低了车牌的定位准确性，大角度的拍摄，使车牌产生较大的形变，会对结果产生一定影响；150复杂背景和强光的干扰，导致车牌的颜色发生变化，使用前景背景分割，可以有效去除干扰，对色调像素点统计，通过多次反馈调节色调阈值区间范围，能够有效的适应拍摄角度和距离的影响，提高车牌定位的准确率。4结论文章针对使用手持终端采集到的全景图像，容易受到复杂背景、光照条件，以及拍摄角155度和距离等因素的影响，对车牌定位产生较大干扰的问题。结合马尔科夫随机场图像分割理论，构建前景-背景分割模型，提取出前景中的车辆区域，实现复杂背景的去除，提取车牌色调特征信息，建立色调阈值区间，使用反馈调节的算法，得到所有可能车牌区域，再利用车牌特有的字符特征，去除伪车牌，实现准确定位。基于手持终端的车牌定位方法，能较好的去除背景干扰，克服手持终端拍摄角度和距离的影响，具有较高的车牌定位准确率。160致谢本文由高等学校博士学科点专项科研基金课题（20134307120040）资助。[参考文献](References)[1]李刚，曾锐利，林凌，王蒙军.基于数学形态学的车牌定位算法[J].仪器仪表学报，2007，Vol.36，No.5.[2]郭捷，施鹏飞.基于颜色和纹理分析的车牌定位方法[J].中国图像图形学报，2002，7(5):472-476.165[3]朱俊梅，陈少平.LPR系统车牌定位提取方法的研究[J].计算机工程与应用，2008，44(14):198-201.[4]郑成勇.一种RGB颜色空间中的车牌定位新方法[J].中国图像图形学报，2010，15(11)：623-1628.[5]王夏黎，周明全，耿国华.一种基于HSV颜色空间的车辆牌照提取方法[J].计算机工程，2004，30(17):133-135.[6]王枚，王国宏.利用伴生与互补颜色特征的车牌定位新方法[J].计算机工程与应用，2007，43(1):170206-208.[7]陈斌，游志胜.车牌号码颜色提取搜索方法[J],计算机应用，2001，21(4):74-75．[8]赵涛，杨晓莉，王绪本.一种用于车牌定位的改进BP神经网络方法[J],计算机仿真，2007，24(2):240-243.[9]WrenC,AzarbayejaniA,DarrellT.Pfinder:realtimetrackingofthehumanbody[J].IEEETransonPattern175AnalysisandMachineIntelligence,1997,19(7):780-785.[10]QiangZhu,ShaiAvidan.Learningasparse,corner-basedrepresentationfortime-varyingbackgroundmodelling[C].ProceedingsoftheTenthIEEEInter-nationalConferenceonComputerVision，Washing-ton,DC:IEEE,2005:678-685.[11]StanLi.Markovrandomfieldmodelingincomputervision[M].Berlin:Springer-Verlag,1995.180[12]李姐超，朱善安.图像分割中的马尔可夫随机场方法综述[J].中国图像图形学报，2007，12(5)：789-798.[13]Y.Weiss.SmoothnessinLayers:MotionSegmentationUsingNonparametricMixtureEstimation[C].IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,1997:520-526.-7- 中国科技论文在线http://www.paper.edu.cn[14]IsingE.Beitragzurtheoriedesferredmagnetismus[J].ZeitschriftfurPhysikAHadronsandNuclei,31(1):253-258.185[15]徐荣.马尔科夫随机场理论在图像分割领域的应州[D].南京:东南大学，2009.[16]朱峰，王海丰，任洪娥.基于Gabor变换的纹理图像分割算法及应用.森林工程，2013,29(5):60-63.[17]楚瀛，田淞，张桂林，张熠.基于图像边缘特征的前景背景分割方法.华中科技大学学报(自然科学版)，2008，Vol.36,No.5.[18]中华人民共和国公安部.GA36-2007中华人民共和国机动车牌安全标准[P].2007,11.190-8-'