一种基于鱼眼全景拍摄的畸变车牌校正新方法.pdf 6页

'中国科技论文在线http://www.paper.edu.cn一种基于鱼眼全景拍摄的畸变车牌校正新#方法**赵麒瑞，刘煜5（国防科技大学信息系统与管理学院）摘要：由于全景图像的采集受到鱼眼镜头和各种因素的干扰，得到的车牌图像经常产生畸变，实现车牌图像畸变校正对提高车牌识别准确率具有重要意义。本文提出一种将畸变图像近似分割校正的方法，主要思路是将非线性的畸变的车牌图像，根据车牌字符特征进行近似分割，用线性近似逼近非线性的方法确定角点，采用透视投影模型，重构车牌图像，实现非线性畸10变的车牌图像校正。实验证明，本文方法针对非线性畸变车牌图像的校正效果较为显著。关键词：非线性畸变；图像分割；透视变换中图分类号：TPANewMethodforNon-linearDistortionCorrectionof15ChineseVehicleLicensePlateZHAOQirui,LIUYu(CollegeofInformationSystemandManagement,NationalUniversityofDefenseTechnology)Abstract:Sincetheimageacquisitionisinterferedbyvariousfactors,andtheimageofthelicenseplate20isoftendistorted,thedistortioncorrectionofthelicenseplateimageisofgreatsignificancetoimprovetheaccuracyofthelicenseplaterecognition.Inthispaper,weproposeanewmethodtosegmentdistortedimagesforlinearapproximation.Themainideaistosegmentthenon-lineardistortedlicenseplateimagesintolinearpartsaccordingtothelicenseplatecharacter,searchingforthecornersofeachpart,thenreconstructingthenon-lineardistortionofthelicenseplateimagebyusingtheperspective25projectionmodel,finallyrealizingthelicenseplateimagecorrection.Experimentalresultsshowthattheproposedmethodiseffectiveforthecorrectionofnon-lineardistortionplateimages.Keywords:Non-lineardistortion;Imagesegmentation;Perspectivetransformation0引言30车牌图像的采集由于受到拍照角度、空间位置、光照条件、设备镜头以及车牌本身存在形变等一系列因素的影响，常常产生多种图像畸变。产生的图像畸变除了水平倾斜、垂直倾斜、不规则四边形畸变等线性畸变，还包括弯折、扭曲、局部比例失调等非线性畸变。车牌图像畸变对车牌字符分割、字符识别等产生极大干扰，影响车牌识别系统的准确率，因此，对车牌图像进行校正是提高图像鲁棒性，提升车牌识别准确率的重要方面。35现有的车牌畸变校正的方法主要有直线检测法、投影最值法和角点检测法等。其中，直[1][2]线检测法主要是通过检测车牌的边框直线，求取倾斜角实现图像校正；投影最值法主要[3-11]是通过字符投影的方法求取最大投影值，对应得到车牌倾斜角实现校正；角点检测法主要是通过检测车牌边框的角点，通过插值的方法实现车牌的校正。直线检测法、投影最值法和角点检测法主要针对的是车牌的线性畸变，对出现非线性畸变的车牌图像校正效果较差。40基金项目：高等学校博士学科点专项科研基金课题（20134307120040）作者简介：赵麒瑞（1988-），男，硕士研究生，主要研究方向：计算摄影通信联系人：刘煜（1983-），男，国防科技大学副教授、硕导，主要研究方向：计算摄影.E-mail:jasonyuliu@nudt.edu.cn-1- 中国科技论文在线http://www.paper.edu.cn图1校正过程1图像分割45图像分割主要是，将非线性畸变的车牌图像依据车牌字符特征，进行近似的线性分割，采用局部处理的方法，寻找与车牌字符相应的特征控制区域，为方便计算，选取四边形区域作为分割区域。具体的算法设计步骤如下：[12]（1）、采用最小周长多边形来求取字符边界，得到字符边界的多边形近似。如图1所示，求取最小周长多边形的过程，核心思想是将字符区域最为一组连接单元的集合，封入50一条边界，允许边界收缩，边界受到这些集合单元的约束，进行收缩，得到字符的一个最小周长多边形。车牌图像的预处理，主要包括基于手持终端的图像采集，图像的前景区域提取，为实现车牌的定位对图像进行先期处理。图2字符最小周长多边形[12]55（2）、求取最小周长多边形的凸多边形。最小周长多边形的顶点与字符区域的顶点一致，可将多边形顶点分为凸顶点和凹顶点两类，凸顶点是一组三个点的中心，它定义了范围内的一个角，类似的，凹顶点定义了范围内的一个角。如图2所示，B为A、C之间的凹顶点，删除C点，将C的相邻顶点直接相连，形成新的多边形，反复迭代这一过程，直到不存在凹顶点为止，得到字符边界的凸多边形。60图3凸多边形（3）、求取凸多边形的最小宽外接矩形，确定分割的小四边形区域。如图3所示，凸多边形的外接矩形必然经过多边形某一顶点和一条边，以外接矩形不能与多边形产生交点为限制，矩形的宽最小作为目标，得到最小宽外接矩形。进一步考虑字符边界特征，选定外接65矩形与字符边界线段的交点，作为畸变区域的小四边形交点，得到分割的小四边形。-2- 中国科技论文在线http://www.paper.edu.cn图4最小宽外接矩形和分割四边形区域2透视投影702.1投影目标区域构建基于如图5所示的标准车牌图像，构造透视投影区域如图所示，将字符区域分割成标准的小矩形，构建对应作为畸变车牌字符小矩形的目标区域。在这里注意到特殊字符“1”的构建，较其他字符的构建较窄。75图5目标投影区域2.2透视投影透视原理是常见的成像原理，是指随着观察角度的变化，假想看到物体的一个或多个侧面，按照空间直角坐标系的划分，相应地分为单点透视投影、双点透视投影和三点透视投影，为了简化计算，本文采用单点透视投影建立透视投影模型。Pxy(,)O80二维图像的透视投影模型如图6所示，将畸变图像上的点以某一中心点为"""Pxy(,)单光源点，投影到正规标准矩形上的点。图像的透视变换过程表示为："Ax1By1C1xDxEy1"Ax2By2C2yDxEy1透视投影是从一个平面到另一个平面的过程，分别根据畸变图像和正规标准矩形图像建立坐标系，确定畸变图像四边形角点坐标(,xy11)、(,xy22)、(,xy33)、(,xy44)和正规""""""""85标准矩形角点坐标(,xy11)、(xy22,)、(xy33,)、(xy44,)，求解透视投影参数，求解的过程矩阵表示如下：-3- 中国科技论文在线http://www.paper.edu.cn"""xxy1000xxxyA11111111"""y000y1xyxyyB11111111"""xxy1000xxxyC22222221y"000y1xyx""yyA22222222"""x3x3y10003xx33xy33B2"""y000y1xyxyyC33333332x"xy1000xx""xyD4444444"""y4000y1x44yx44yy44E求解透视投影参数，实现畸变图像的透视投影变换。如果畸变图形边界检测为曲线，则需要按照字符位置对其进行近似四边形的分割，需要分别对每个分割的小四边形建立相应的90透视投影模型，分别实现投影变换，得到相应的正规小矩形，再由这些小矩形进行拼接，得到正规标准矩形，最终实现图像畸变校正。图6透视投影3实验结果及分析95实验使用Inter(R)Core(TM)i7-4710HQCPU@2.50GHz和8GB内存，分别选取人为加入非线性畸变的假车牌和实际中采集的畸变车牌，进行分组实验。实验分别选取100张人为添加非线性畸变的假车牌图像和实际采集的车牌图像建立实验测试集，实验数据如图7所示，左图为实际采集的畸变车牌图像，右图为人工添加畸变的车牌图像。100图7实验数据集-4- 中国科技论文在线http://www.paper.edu.cn实验采用平均校正角度误差、平均校正图像和实际图像的像素的均方误差作为指标，衡量校正效果。实验结果如表1所示，从实验结果中，可以看出，人为添加畸变的车牌图像校正效果比实际采集车牌校正效果更好，主要原因在意实际采集测车牌存在其他干扰因素，例如光照，车牌污损。105表1实验结果图像样本数量平均角度误差均平均方误差最大误差角度最大均方误差添加畸变图像1001.112%318%实际采集图像1001.515%517%进一步，与现有的角点检测实现图像校正方法作对比实验，角点检测方法校正结果如表2所示，角点检测方法实际上是检测车牌边框的四个角点进行校正，本方法进一步检测每个字符的角点，用线性逼近的方法，进一步提高了车牌图像畸变校正的效果。实验结果表明，本方法实现的非线性畸变车牌的校正，能够满足后续的车牌字符分隔和识别的要求，对提高110车牌的识别具有重要作用。[3]表2角点检测校正实验结果图像样本数量平均角度误均平均方误最大误差角最大均方误差差度差添加畸变图1001.414%4.621%像实际采集图1001.617%6.220%像我们分别从实验不同的车牌测试集中，挑选最大误差角度和最大均方误差的试验车牌，进行分析。如图8所示，车牌图片为产生最大误差角度的样本，主要原因在于车牌的采集偏斜角度太大，导致字符的凸多边形难以准确得到投影控制点；如图9所示，车牌图片为产生115最大均方误差的样本，产生较大误差的原因在于字符本身发生较大非线性畸变，导致字符的最大凸多边形不准确，最终影响到校正的效果。在下一步的工作中，我们将着重针对字符特征的提取进行判断，加入特征的选择判断机制，进一步提高校正的准去率。图8最大误差角度的样本120图9最大均方误差的样本4结论图像校正在多个领域都具有重要的意义，在本文中，具体针对车牌畸变图像，提出一种125基于内容特征的图像近似分割，以线性近似的思路来解决非线性的图像畸变，是一次有意义的尝试，实现了车牌非线性畸变的校正，可以尝试应用到其他图像校正的应用中。在下一步-5- 中国科技论文在线http://www.paper.edu.cn的工作中，我们将着重针对字符特征的提取进行判断，加入特征的选择判断机制，进一步提高校正的准确率。致谢130本文由高等学校博士学科点专项科研基金课题（20134307120040）资助。[参考文献](References)[1]J.M.Guo,andY.F.Liu.LicensePlateLocalizationandCharacterSegmentationwithFeedbackSelf-LearningandHybridBinarizationTechniques[J].IEEETransactionsonVehicularTechnology,2008,Papers57(3),1417-1424.135[2]J.B.Jiao,Q.X.Ye,Q.M.Huang.Aconfigurablemethodformulti-stylelicenseplaterecognition[J].PatternRecognition,2009,Pages42(3):358-369.[3]WuYiquan,FuXiao-li.TheMethodofDetectingandCorrectingObliqueLicensePlateBasedontheCornerPointsInformationandInertialPrincipalAxis.JournalofEngineeringGraphics,2009,1003-0158.[4]XuXiao-wei,WangZhiyan,CaoXiao-ye,LingYing-hong.Rapidskewdistortionrectificationforvehicle140licensesplateimagesbasedonvanishedpoints[J].ApplicationResearchofComputers,2008,1001-3695.[5]Mei-SenPan,QiXiong,Jun-BiaoYan.ANewMethodforCorrectingVehicleLicensePlateTilt[J].InternationalJournalofAutomationandComputing,2009,210-216.[6]ZhangMeiduo,GuoBaolong.ResearchonKeyTechnologyofLicensePlateRecognition[J].ComputerEngineering,2007,1000-3428.145[7]ShengqianChang,SiqiLiu,FeiYuan,ZhenrongZheng.Unifiedopticaldistortioncorrectionmethodforimagingsystemsusingaconcisegeometricaltransformationmodel[J].OpticsCommunications,2017,223-230.[8]J.Hou,H.Li,Z.Zheng,X.Liu.Distortioncorrectionforimagingonnon-planarsurfaceusingfreeformlens[J].OpticsCommunications,2012,986-991.[9]LiJianchun,YangXing,LiuWei.ASurveyofLicensePlateTiltCorrection[J].ScienceandTechnology150InnovationHerald,2013,1674-098X.[10]ZhoujuanGuan,LiminSong,XiaoruiSong.ANewAlgorithmResearchofLicensePlateTiltCorrection.AdvancesinComputerScienceResearch,2016,2352-538X.[11]FeiJiyou,XieJinlu,LiHua,WangYinghan.Adaptivelicenseplatecorrectionandextractionbasedoncharacterfeatureconstraint.ChineseJournalofScientificInstrument,2016,37-39.155[12]Rafael.C.Gonzalez,Richard.E.Woods.DigitalImageProcessing.ElectronicIndustryPress,2009.-6-'