多姿态人脸图像识别方法毕业论文.doc 47页

'重庆邮电大学本科毕业设计（论文）多姿态人脸图像识别方法毕业论文目录前言-1-第一章绪论-2-第一节研究背景及意义-2-第二节人脸识别研究现状-3-一、人脸识别现状-3-二、多姿态人脸识别现状-5-第三节人脸识别的应用前景-7-第四节本章小结-9-第二章人脸识别技术概述-10-第一节人脸识别的研究范围-10-第二节人脸识别系统-10-第三节人脸识别的性能评价-11-第四节本章小结-12-第三章多姿态人脸识别的研究-13-第一节引言-13-第二节多姿态人脸识别策略-13-第三节姿态校正研究-14-一、姿态校正的人脸识别框架-14-二、基于ST的姿态校正算法-15-三、实验结果-15-第四节本章小结-19-第四章基于PCA的人脸识别方法-20-第一节问题描述-20-第二节PCA算法介绍-20--46- 重庆邮电大学本科毕业设计（论文）一、PCA的理论基础-20-二、PCA理论原理-22-第三节PCA在计算机视觉领域的应用-23-一、图像数据的表示-23-二、对图像进行信息压缩-23-三、模式识别-24-第四节本章小结-24-第五章人脸识别系统的设计与实现-25-第一节仿真实验流程图-25-第二节读入人脸库建立人脸空间-25-一、人脸库简介-25-二、计算K-L变换的生成矩阵-27-第三节特征向量的选取-27-第四节人脸识别-28-第五节结果统计及分析-29-第六节本章小结-29-结论-31-致谢-32-参考文献-33-附录-35-一、英文原文-35-二、英文翻译-39-三、源程序-42-第一章绪论第一节研究背景及意义-46- 重庆邮电大学本科毕业设计（论文）随着计算机科学与生物医学技术的迅速发展，产生的根据人体某些特征来判别人物身份的特征识别技术逐渐成为安全验证的一种重要方式。生物特征识别技术将信息科技与生物技术结合在一起，融合了计算机技术、数学、物理学、生物学、声学、光学等高科技手段，利用人体生理特征（如人脸、指纹、眼球等）或行为特征（如声音、笔迹、举止等）来判别人物身份。人脸识别，是基于生理特征的识别技术的一种，是利用计算机提取人脸的相关特征，并根据这些特征来辨别人物身份的一种应用技术。人脸识别问题一般被定义为：给定一个静止或者动态的人脸图像，运用计算机技术处理图片，从而确定给定图像中人物是不是人脸库里面的某个人或者具体判断是人脸库里面的哪个人。自上世纪70年代，人工智能技术的兴起和人类视觉研究的不断发展，人们对机器识别产生了越来越大的热情，于是人脸识别发展成为了一个特定的研究领域，这一领域兼具重大理论价值和巨大实用价值。人类一直梦想着让机器能够像人一样思考，具有识别事物并处理事物的能力，而对人工智能的研究，是从心理学、行为感知学、解剖学等各个角度来发掘人类的感知事物的机制和思维、处理事物机制，最终将所认识到的机制运用于实际当中，于是机器识别研究中的人脸图像识别技术应运而生，并在其逐步发展中投入使用，成为现代人工作生活的一部分。然而许多事情对于人类可以轻易做到，对于机器来说却是难以实现的，比如人脸识别、语音识别、自然语言理解等。所以我们将研究的重点放在了认识人类的思维方式，了解人类获取、传输和处理信息的方式，以便将其运用到机器识别中，最终实现指导生产和实践。人脸识别在理论完善和技术发展上都具有重大意义：首先它推动了人们对人类视觉感知能力本身的认识；其次可以将其运用到人工智能的某些应用领域，比如门禁系统，课堂点到等。用计算机实现对人脸的自动检测和识别，是一件科学有效，省事省力的工作，因此自动人脸识别系统有广阔的应用前景，相比其他较成熟的识别方法（如虹膜、指纹、DNA检测等），人脸识别具有以下三个优点：①无侵犯性，一般的身份识别方法需要经过当事人的配合才能进行，但是人脸识别的方法不需要人工干预，可以通过摄像头等电子设备，在被检测者不注意的情况下，获取图片，用于识别当中。②价格低廉，操作简单，只需要普通摄像头、照相机等就可以满足人脸识别系统的需要，随着智能手机的快速发展，很多人喜欢用手机上的嵌入式摄像头记录图片，使得图片的获取更加的方便简单和普遍。③-46- 重庆邮电大学本科毕业设计（论文）人脸识别的过程不需要人工参与，计算机可以根据用户设置让系统自动执行，而不需要被测试者的主动参与。正因为人脸识别技术具有以上优点，使其得到科研人员越来越多的关注。第二节人脸识别研究现状一、人脸识别现状识别人脸是人类与生俱来的能力，而机器识别中的人脸识别则涉及多个学科，其中包括数字图像处理、模式识别、认知科学、生物学等，人脸识别与基于生物特征的身份鉴别方法和计算机人机感知交互领域有着密切的联系。60年代，Bledsoe提出了人脸识别的特征提取与半自动系统模式方法。1972年，Sakai设计出了自动人脸图像系统，Harmon在理论上与实践上对交互人脸识别方法进行了详细的论述。80年代初，T.Minami进一步提高了人脸图像系统的性能。初期的人脸识别往往需要人们通过自身感知而获得的一些经验，而不能完全依靠计算机自己来执行，从而获得我们所需要的识别效果。到了90年代，由于各方面对人脸识别系统有了更加迫切的需求，正是这种需求激励了人们对人脸识别的研究热情，越来越多的科研人员投入到人脸识别的研究领域，于是很多科研成果应运而生，真正的计算机自动识别阶段开始到来，如K-L变换、神经网络技术等。此外，国际上涌现出大量有关人脸识别方面的论文，仅在二十世纪90年代到两千年的这段时间，SCI和EI检索到的人脸识别相关文献就已达到数千篇，由此可见人脸识别的研究正日新月异的发展着。国外的许多高校因为得到大量资助率先开始了人脸识别技术的研究，随后我国的一些知名学者也开始了对人脸识别的研究。随着人脸识别研究的深入，人们也发现其中存在的一些较难解决的问题：①人脸图像在拍摄过程中，受到了光照，人脸偏转角度和拍摄距离的影响；②人脸是非刚性体，发型、眼镜、帽子等装饰物遮挡了部分人脸；③随年龄增长，岁月的沉积，人脸发生了一些变化还有可能存在的表情变化等因素；④高像素和彩色图像所带来的像素的多灰度级造成海量数据输入，处理速度缓慢。-46- 重庆邮电大学本科毕业设计（论文）对于人脸识别的研究历史可分为三个阶段：[1]第一阶段（1964-1990）这个阶段主要是基于人脸几何结构的，研究的重点在于剪影，大部分研究都是关于如何提取面部剪影曲线的结构特征的。此阶段属于人脸识别的初级阶段，没有太多突出的研究成果，也未获得的实际应用。第二阶段（1991-1997）这个阶段虽然时间相对较短，但取得了巨大进展，出现了几个具有代表性的算法以及几个商用的人脸识别系统，如Identix公司的FaceIt系统。这个时期最具盛名的识别算法是MIT媒体实验室的Turk和Pentland[3]提出的“本征脸”方法。后来很多人脸识别技术都与本征脸有关，现在本征脸已与归一化的协相关矩量法相融合并成为了人脸识别测试性能的一个基准算法。这个时期的主要成果有：1992年左右，Brunelli和Poggio做了一个基于模板匹配的方法和基于结构特征的方法性能对比的实验，并得出了结论：模块匹配的方法优于基于特征的方法。这个结论和特征脸的共同作用，基本上结束了纯粹的基于结构特征的人脸识别研究时代，并且很大程度上促进了基于统计模式和基于表观的线性子空间建模识别技术的发展。Fisherface方法是由Belhumeur等人提出的，目前依然是一种主流人脸识别方法。子空间判别模型等都是其变种。其先使用PCA对数据进行降维，并使用LDA方法对降维后的主分量进行变换，以获得类间散度与类内散度比最大，即“尽量大的类间散度和尽量小的类内散度”。弹性匹配技术也是一个重要方法。弹性匹配方法的优点是既保留了面部的全局结构特征也保留了人脸关键局部特征。它用一个属性图来描述人脸，人脸属性用面部关键特征点来区别。输入的图像，先通过一种优化搜索策略来定位面部关键特征点，同时提取相应特征，得到其属性图，识别过程是通过计算其与已知人脸属性图的相似度来完成。柔性模型，它是人脸建模方面的一个新的进步，包括主动外观模型和主动形状模型。柔性模型具有良好的人脸合成能力，可以使用基于图像合成的分析技术提取人脸特征和和对人脸图像建模。其主要将人脸描述为分离的纹理和2D形状两个部分，分别用PCA建模，然后再通过PCA将两者合成来对人脸建模。局部特征分析是-46- 重庆邮电大学本科毕业设计（论文）由Atick等人提出，与PCA相比局部特征分析在全局PCA的基础上提取的是局部特征，其本质是基于统计的低维对象描述方法。它具有了更好的描述和识别能力。既保留了全局拓扑信息，又提取局部特征。已商业化为著名FaceIt系统就是基于局部特征分析技术的。第三阶段（1998年—现今）这个时期的人脸识别技术得到进一步发展。大量专业研究人员从事人脸识别研究。研究方向主要针对主流的人脸识别技术在用户不配合下鲁棒性差和采集条件不理想的问题。研究焦点是人脸图像中人脸的姿态和光照给识别带来的问题。Shashua等人基于上图像的人脸图像识别与绘制技术。Blanz和Vetter等人基于3D变形模型的多姿态，多光照的人脸识别方法。Georghiades等人基于光照锤模型的多姿态，多光照条件人脸识别方法。这些成为此阶段的代表性成果。二、多姿态人脸识别现状从姿态角度来看，人脸识别被分为正面人脸识别和多姿态人脸识别，其中正面的人脸识别研究开始的较早，研究水平较高，并且取得了很大的结果，但是有姿态变换的人脸图像识别研究虽已有涉及，有学者发表过一些相关论文，但仍然存在很多问题没有解决，目前人脸识别技术没有得到足够推广的一个重要原因就在于此。正面人脸识别的方法主要有以下3种：基于人脸几何特征匹配方法、基于灰度匹配的PCA方法、基于连接性模型方法，但以上方法无法适应人脸姿态的变化，一旦将它们应用到多姿态人脸识别中，识别正确率就会迅速下降。其中最为明显的是基于灰度匹配的主成分分析算法。在正面人脸识别中，因具有较高识别正确率而备受瞩目的PCA算法，它的作用实质是进行图像之间的灰度快速匹配，但随着人脸姿态发生较大变化，多姿态人脸图像的灰度相关性会随之降低，从而导致识别率迅速下降。因此，考虑到人脸姿态的多样性对人脸识别造成的困难以及多姿态人脸识别研究的必要性，研究人员必须加强对人脸识别中多姿态问题的解决。在多姿态人脸识别方面，国外已经取得了的很多的研究成果。有学者提出了3D模型的重建算法，以此来解决目前当人脸图像的姿态变化和光线变化时，人脸识别系统识别率容易受到影响的问题。从二维人脸图像中提取人脸的三维模型，并利用重建的3D模型来判断人物身份是基于3D模型的人脸识别方法的主要内容。因为光线和姿态变化不会对人脸的3D模型造成影响，所以它可以在提高现有识别系统的识别率上做出很大贡献。由于它的种种优点，对人脸的3D模型重建是国外对人脸识别研究的一个主要方面。国内从二十世纪九十年代开始研究人脸识别技术。对人脸识别的研究主要有一下几个方面：-46- 重庆邮电大学本科毕业设计（论文）①南京理工大学提出了基于Fisher准则的最佳鉴别矢量集算法。他们首先用伪逆矩阵代替逆矩阵、在类内散布矩阵中添加奇异值扰动，然后讨论了类内散布矩阵的求解空间，逐渐完善其求解算法。在提出Kernel的概念后，他们又将算法扩展到对应的高维的核特征空间；②中科院自动化研究所通过讨论散布矩阵解空间而得出基于Fisher准则的最佳鉴别矢量集[1]，同样取得了佳绩；③复旦大学做出了基于独立主元分析算法的人脸识别的实验结果；④微软研究院围绕非负矩阵分解和局部保持映射算法提出了人脸识别的新算法；⑤中科院自动化研究所和复旦大学等研究机构也开展了人脸3D模型重建的研究工作。以上算法在很大程度上推动了国内人脸识别技术的飞快发展。本文研究的重点是有姿态变化的人脸图像识别方法，现阶段已有一些较为普遍的方法针对多姿态人脸的识别，如Beymer等人提出的引入虚视点[2]，将二维平面人脸图像与三维立体的人脸模型相结合，然后对有姿态变化的人脸图像进行识别，但该方法存在一些缺陷，即要求足够精确的三维模型，而且计算相当复杂耗时。此外还有Lades等人采用的利用弹性匹配技术[3]对不同姿态人脸进行识别的方法，由于人脸图像通常缺乏足够的纹理信息，无法满足此方法需要的准确定位特征的要求。许等人提出基于图像序列的多视图的人脸识别方法，多视图，顾名思义，即将各个人的不同姿势的人脸图片保存作为训练集，将输入的测试图像形成的序列与训练集中各视图的图像组成的序列比较相似性[4]，并分析识别结果是否正确。很明显，这种方法会使得训练集的数据量极其庞大，很难在实际应用中推广。为了保证人脸识别的准确性和可操作性，针对二维平面内具有随机旋转角度的人脸图像识别困难和正确率低的问题，本文研究基于二维图像的正弦变换实现姿态校正的方法，实现了图像旋转特征提取和识别的不变性。研究应用PCA的特征提取方法，和K最近邻分类器。比较是否进行姿态校正对识别正确率的影响，全面分析以上方法的优缺点及其适用范围。第三节人脸识别的应用前景-46- 重庆邮电大学本科毕业设计（论文）目前流行的很多身份验证手段，如眼睛虹膜、指纹等身份验证需要与目标相近或者接触这样较高的数据采集要求。不必与目标接触甚至不必在目标知道的情况下就可以使用人脸图像的方法来识别人物身份，所有这些不同的识别手段给人脸识别带来巨大的理论意义和实用价值，人脸识别有着许多潜在的应用前景。目前生物识别技术已广泛用于政府、军队、银行、福利、电子商务、安全防务等领域。如电子护照及身份证，国际民航组织已确定，118个成员国家和地区，从2010年起，必须使用机读护照，人脸识别技术是首先推崇的识别模式，这个规定现已成为国际标准；除此之外还可以利用人脸识别系统和网络，在全国范围内搜捕逃犯；再有人脸识别考勤系统，大学课堂点到系统等。在民事和经济领域，社会保险人的身份验证，各类银行卡、信用卡、储蓄卡的身份验证方面，人脸识别均具有重要的应用价值。在生活娱乐等领域，人脸识别也具有相当大的潜力，比如能够识别主人身份的门禁免钥匙系统、智能玩具家政机器人等[5]。表1.1中所列举了已经实现或正在逐步完善的应用，由此可见人脸图像识别具有广阔的应用前景。表1.1人脸识别的应用应用优点存在问题信用卡、汽车驾照、护照以及个人身份验证等图像摄取可控图像分割可控图像质量好需要建立庞大的数据库嫌疑犯照片匹配图像质量不统一多幅图像可用潜在的巨大图像库互联网应用视频信息价值高，多人参与存在虚假银行/储蓄安全监控效果好图像分割不可控图像质量较差人群监测图像质量高可利用摄像图像图像分割自由图像质量低、实时性虽然人脸识别发展迅速也取得了丰硕成果，但仍然暴露出它的很多亟待解决的问题，例如人脸的非刚性属性，图像背景复杂，人脸的角度变化，环境的光照强度，和可能出现的遮挡物等，都是人脸识别技术要取得长足发展所需要面临的问题。人脸识别的发展趋势如下[6]：①近红外解决人脸识别光照难题人脸识别系统的性能受很多外部环境的制约，如年龄变化、姿势变化、-46- 重庆邮电大学本科毕业设计（论文）表情变化、光照变化、配饰变化等的影响，其中光照变化对人脸识别的影响最为关键，因此制约人脸识别技术普及的关键技术瓶颈即是人脸识别对外部光照环境的适应力和控制力。最近由我国中科院自动化所主导提出的基于主动近红外图像的人脸识别技术，迅速发展起来，并且在红外图像对可见光图像混合识别的研究同样取得了突破进展，使其可以和可见光人脸数据兼容，也真正使人脸识别技术更加实用化。①人脸识别与视频监控的无缝对接中科院自动化所的科学家和广大工程技术人员开创了基于可见光下的中远距离人脸识别算法的公共安防智能报警平台，可同时检测、跟踪和识别多路摄像头监控范围内的多个人脸，并与数据库中人员的面部信息进行比对，实时对来往人员身份的排查，一旦发现可疑分子，后台会自动报警，并指导安保人员极早采取防范措施。人脸识别与视频监控的无缝对接，极大的拓展人脸识别技术的应用空间，极大的提升了传统视频监控的预警功能和智能化程度。②人脸识别与身份证管理的无缝对接通过将测试图片与训练库中照片逐一比对，根据对比结果按相似度排列，从而对照片中的人进行准确身份识别的中科奥森海量数据库人脸识别快速查证系统支持对数千万人数据库进行查询。它可以用来追捕罪犯，管理常住人口，特殊人口等。并能充分利用二代身份证照片资源，帮助公安部门的工作。③人脸识别技术趋势--“三化两合”巨大的市场需求拉动了人脸识别技术和产业的快速发展，随着应用技术的不断发展，人脸识别技术及产业呈现出“三化两合”趋势。“三化”即主流化、标准化、芯片化；“两合”即多生物特征融合和与RFID的联合。第四节本章小结-46- 重庆邮电大学本科毕业设计（论文）本章简述了人脸识别的概念，主要介绍了人脸识别的发展历程，分别介绍了人脸识别的发展现状和多姿态人脸识别的现状，因为本文研究的重点是有姿态变化的图像在人脸识别中所遇到的问题，并分析目前较好的解决姿态问题的算法，还介绍了一些在人脸识别发展过程中起过很大作用的优秀算法，展现了前人对人脸识别领域研究的智慧的结晶，比较各个算法的优缺点，以及适用范围，发现并分析了人脸识别的难点，以及解决人脸识别中一些问题的方法，最后介绍了人脸识别的应用领域，人脸识别技术在理论和应用上有一定的发展，各类图像处理技术、计算机技术等其他学科技术也取得重大发展，这无疑给人脸识别技术研究带来空前发展机会。人脸识别是现在备受重视的一项研究，很多专业人士在这个领域做出了杰出贡献，后人应该在此基础上不断深入的研究，将其推广到各个领域。-46- 重庆邮电大学本科毕业设计（论文）第二章人脸识别技术概述第一节人脸识别的研究范围人脸识别属于生物特征识别技术的范畴，特指通过分析比较人脸视觉特征的信息进行身份识别的计算机技术[7]。人脸识别目前是一项极其热门的生物特征计算机技术研究课题，可以将人脸明暗侦测，人脸追踪侦测，自动确定动态曝光补偿，自动调整影像的放大；它属于生物特征识别技术的范畴，是对各种人脸进行检测并识别的概称。通常，我们提到的人脸识别主要是指通过人脸特征进行身份的核实匹配、身份的确认或者身份的查找技术。广义“人脸识别”研究范围主要包括以下方面[7]:①人脸检测:在不同背景下检测出待检测区是否包含人脸，如果包含，则要进一步确定他的具体的所在位置。影响人脸检测的因素最主要的有面部旋转的角度、倾斜的角度、光照的强度、噪声污染以及各种遮挡物等。②人脸的表征:人脸通过某种表示方式检测出来的特征。一般的表示方法有代数和几何特征、特征脸等。③人脸的识别:主要是比较需要识别的人脸和数据库中人脸。选择合适的人脸表征方式和匹配方法是人脸识别的关键。④姿态分析:主要是分析需要识别的人脸姿态信息,并且将其归类。⑤生理分类:主要是借助人脸识别从而推断其生理特征,比如性别、年龄等。本文主要研究有姿态变化人脸的识别方面。第二节人脸识别系统人脸识别系统主要由以下4个模块组成[8]：①预处理模块：此模块要几何归一化，需要识别图像，并将噪声删除，将方向和光照强度消除或减小、识别系统本身以及系统外部环境等因素产生的噪声干扰，使不同的识别图像中将要处理的人脸亮度和大小做到尽量统一，这样可以使他在相同条件下进行识别。该模块为是后续特征提取模块的基础，为它提供了高质量的图像。-46- 重庆邮电大学本科毕业设计（论文）①人脸图像训练模块：对识别人脸图像进行集中训练从而得到供识别模块所需判别的参数。在次模块中，不同算法效果差异很大。②特征提取模块：处理训练集和测试集的人脸图像，得到最能反映人脸本质的特征，从而方便分类，这样可以使原始的人脸空间数据映射到新特征空间，识别效果最主要衡量标准是提取特征的稳定性和有效性。在特征提取过程中，根据不同的识别策略选择相应的识别特征：基于神经网络的方法：用归一化后的灰度图像来提取特征值或特征向量作为输入，网络的输出作为识别结果；基于几何特征的识别方法：先提取特征点，之后构造特征向量；基于模板的匹配方法：主要提取相关系数作为识别特征；基于统计的识别方法：利用了图像的相关矩阵来求特征向量，每一个特征向量；对应一张特征脸。③人脸识别模块：根据上一个模块判别测试图像是否属于人脸库里对应特定的人脸。传统人脸识别系统组成如图2.1所示。该图只给出了人脸检测和人脸识别两个部分。图2.1传统的人脸识别系统框图第三节人脸识别的性能评价因为人脸识别是一项实用的技术，所以评价人脸识别算法的好坏[9]也必须从实用角度出发。首先，人脸识别本身是一种分类技术，所以衡量人脸识别算法的首要性能指标是识别率。其次，识别时间决定一种算法从理论到实践的过渡和跨越，因此它是衡量人脸识别算法好坏的关键指标。最后，考察算法识别性能的一个重要指标----人脸识别算法对物理存储空间的要求。下面将对这些性能指标分别进行介绍。-46- 重庆邮电大学本科毕业设计（论文）1、识别率识别率是指在测试过程中，正确识别的人脸图像数目与人脸图像总数的比值。因为训练样本不同的组合产生的鉴别矢量会对识别率产生很大的影响，通常的做法是采用校验法，把已经标记好的训练样本集随机地分两部分：其一作为训练集，用来调整算法中的参数；其二作为“校验集”，用于评价推广的误差。如果某种识别算法对新的测试样本，即使它对训练样本的分类性能不是很好，但它能够有不错的分类效果，也应该接受它。2、识别时间因为人脸识别技术是要应用到实际中，所以实时性是人脸识别技术的一个重要的性能指标。人脸识别系统的时间主要包括两方面的时间：一是训练阶段的时间——人脸识别系统生成鉴别矢量集所需要的时间；另一个是分类识别阶段，测试样本投影到鉴别矢量集张成的低维子空间，得到的投影系数以及分类决策确定的测试样本类别的时间总和。一般情况下，训练时间相对来讲不重要（人脸识别系统的训练为离线训练），但分类识别所需的时间标志着人脸识别系统是否具有实时性，决定了人脸识别系统能否应用于实践。3．数据存储量在人脸识别系统中，如果人脸特征库需要花销太多的存储空间，那么将会给整个系统造成太大的负担。所以人脸投影特征矩阵的维数和训练集的大小在人脸识别系统中有特别重要的地位。第四节本章小结本章主要介绍了完整的人脸识别流程和人脸识别系统，一般的人脸识别流程包括预处理、特征提取、和分类过程。本文着重研究的是有姿态变换的人脸图像识别方法，于是识别流程中多了姿态校正的部分，完整的流程为预处理、姿态校正、特征提取和分类。本文还介绍了人脸识别的研究范围，和人脸识别系统的功能模块，以及人脸识别系统的性能评价。帮助读者更好的了解人脸识别系统的操作过程。-46- 重庆邮电大学本科毕业设计（论文）第三章多姿态人脸识别的研究第一节引言人脸识别技术经常遇到样本维数过高、类别数太大、训练样本较少，还有姿态、光照、表情等影响的问题。其中，制约人脸识别率提高最重要的因素是姿态变化。如果人脸姿态变化较大，那么识别率就会急剧降低，有时候甚至根本无法识别。本文针对只能获取少量训练样本的情况下，用正弦变换方法对测试集校正处理，用PCA算法来进行特征的提取，并且使用K最近邻分类器，来对多姿态人脸识别全面的研究。在现阶段，很有必要来对多姿态人脸识别策略进行具体方法的实现。现实中，识别精度降低主要因为测试人脸图像姿态变化对它的影响。本文研究的姿态校正人脸识别策略是基于正弦变换的。该方法相较于传统的人脸识别系统的优势是它加入姿态校正前端处理，最后将多姿态样本校正成为正面人脸图像。第二节多姿态人脸识别策略多视图的多姿态人脸识别最常用的方法就是收集各个人脸的不同姿态、多个数目的视图作为训练样本，识别时把传入的人脸图像与训练库中全部的多视图进行对比，得出人脸识别的最终结果。这种方法确实对多姿态人脸识别的问题有一些作用，但是整体来说仍然存在很大的不足：它需要将多视图为基本条件，需要对每个人脸从多个视角都进行取证。这样工作量太大，有时候是不可能办到的。Daniel[10]提出的点分布模型，只要准确的将人脸的关键轮廓点进行定位，可以通过调整人脸的参数改变人脸的姿态，这种方法可以在姿态相近的训练和测试样本中取得不错的效果。文献概括了针对姿态人脸的三维模型方法[11]。三维的方法对于解决姿态问题是最有效的方法，但是由于三维图像的获取比较困难，获取时间长，在获取过程中对用户的干扰比较大，且三维数据计算复杂度远高于二维数据，计算量大，耗时多，因此在识别应用中暂时没能得到推广。-46- 重庆邮电大学本科毕业设计（论文）在通常的人脸识别系统中，往往不能得到大量的多姿态人脸训练样本，而只能获得少量的正面样本，但是测试样本常常是带有各角度的姿态图像。针对训练样本数量有限的情况下，本论文分析研究了一种小样本训练方法的姿态校正方法。第三节姿态校正研究在实际应用中的人脸识别系统中，往往不可能得到大量的训练样本，只能获得一些正面姿态图像，但测试样本往往会带有各角度的姿态。对人脸识别系统的识别率起直接作用的就是测试样本与训练样本的一致性。如果想提高识别的正确率，可以从提高两者的一致性下手。为了提高训练样本和测试样本的一致性，我们采取姿态校正的方法来将ORL库中的所有人脸图像均进行了人脸校正。一、姿态校正的人脸识别框架从具体的人脸识别流程出发，人脸识别系统分为人脸检测、预处理、特征提取、人脸分类四个部分。图3.1为本文显示了姿态校正的人脸识别框架。具体方法是：训练样本在特征提取之前先进行预处理，接着将结果传入到分类器。测试阶段，需要先检查到待测人脸，然后进行同样的预处理，接着进入姿态校正模块，利用离线的姿态校正和特征提取后，再传入到分类器，就可以获得最匹配的样本，最后将识别信息输出[12]。图3.1姿态校正的人脸识别系统框图-46- 重庆邮电大学本科毕业设计（论文）二、基于ST的姿态校正算法姿态校正模块作为具有姿态校正效果的人脸识别框架中最核心的部分，研究其算法是非常重要，也是非常必要的。本文所说的姿态校正是基于二维图像的正弦变换[13]的，其重要特征是可以快速的姿态校正，这大大提高了人脸识别的实效性和可操作性。假设所给的识别样本是一张为m×n的侧面人脸图像，记做S，即这张人脸图像本身有一定方向的偏转。这时的图像可以看出一侧被压缩，而另一侧被放大了。但是正面人脸，是两边对称的。因此，以人脸图像的中心为轴线，右边列坐标取正，左边图像列坐标取负，这样就可以依据正负不同的列坐标来实施不同的尺度旋转，这样就能拉伸一边的同时压缩另一边。这样一个侧面人脸便姿态校正了一定角度，进而可以变换成为正面人脸。值得注意的是原始列坐标设置的都是整数，但变化后不一定是整数，可以通过插值运算，便可求得此图像上各个像素点所对应的灰度值。设原始图像S，大小为m×n，平面上对应的网格点为{(x,y)|x=1,2......,m;y=1,2......,n}，经过正弦变换后，网格点的y值为：y"=(1+sign(y−n/2)*sin(α))(y−n/2)+n/2(3.1)α为需要的旋转角度值，sign()表示符号函数。(3.1)式的变形为：(3.2)由(3.2)式可得，当y在图像左右两个区间的位置，实施不同的角度变换，会得到不同程度的缩放效果。图像新的网格点是由{(x,y")|x=1,2......,m;y=1,2......,n}组成的。由于新图像S’在网格点(x,y")的灰度值和原图像S在(x,y)点的相同，所以由S’作插值计算就可以得到图像在网格点{(x,y")|x=1,2......,m;y=1,2......,n}的值，它就是姿态校正后的图像。三、实验结果-46- 重庆邮电大学本科毕业设计（论文）在ORL人脸图像库中选择衣服有旋转角度的图片，以正弦变换校正算法对图像进行从1到15度的不同角度的校正，并将校正结果以3行5列的形式全部显示出来。并手动确定人脸中轴线，然后比较旋转后图片人脸中轴线两边的像素点差值，判断哪一个旋转后的图片差值最小，就认为此角度旋转效果最好，校正后的人脸最接近正面人脸。将此图片保存，留作后续人脸识别使用。以下4张图分别展示了所选取的ORL库人脸右偏原图，和手动标示出中轴线的原图；进行左偏姿态校正后的人脸图像；标示出人脸中轴线的校正效果图；以及存储在pix_diff中的人脸中轴线两边图像像素差值。图3.2orl002.bmp的原图和标示出中轴线的原图图3.3人脸向左偏转校正图-46- 重庆邮电大学本科毕业设计（论文）图3.4标示人脸中轴线的校正图图3.5存储校正后人脸中轴线两边的像素差由图示可以看出第10张图片为最佳校正图。以下4张图分别展示了所选取的ORL库人脸左偏原图，和手动标示出中轴线的原图；进行左偏姿态校正后的人脸图像；标示出人脸中轴线的校正效果图；以及存储在pix_diff中的人脸中轴线两边图像像素差值。图3.6orl006.bmp原图和标出中轴线的原图-46- 重庆邮电大学本科毕业设计（论文）图3.7人脸向右偏转校正图图3.8标示人脸中轴线的校正图-46- 重庆邮电大学本科毕业设计（论文）图3.9存储校正后人脸中轴线两边的像素差由图示可以看出第12张图片为最佳校正图。第四节本章小结本章讨论了针对多姿态人脸识别的策略和方法，本文使用简单的平面内姿态校正来解决姿态问题对人脸识别系统的影响，提高系统的可操作性和实效性。在实际操作中，有时我们无法获得足够多的各角度的人脸样本，或者说只能得到少量的正面样本，此时可以考虑采用对测试样本进行姿态校正的策略。由于本文所选用的人脸库是ORL人脸库，里面包含各种姿势，表情的人脸，有些人没有正面样本，只有侧面样本，所以在识别的时候，本文将ORL库中的所有图片都进行了校正，然后再进行人脸识别。针对实际应用中人脸识别受到姿态变化影响较大且有时只能获取少量人脸训练样本的情况，有学者提出了基于姿态校正的人脸识别思想。本章分析研究了将基于正弦变换的人脸姿态校正模块加到普通的人脸识别框架中的算法。将具有不同姿态的测试图像校正为正面人脸图像，与传统的人脸识别方法相比，可有效的提高识别率。校正后的图像并没有改变原图像中的纹理信息。本文使用了正弦变换的方法来虚拟有姿态变化的人脸图像，根据人眼感知到的旋转人脸图像的视觉效果，利用两个半脸的同时但不同尺度（一边压缩，一边扩张）的变换来虚拟多姿态人脸图像。这种方法不需要复杂的3D人脸重建，而且它是直接从原始图像上映射纹理，保留了全部的纹理信息，所以能快速的校正得到正面的人脸图像。-46- 重庆邮电大学本科毕业设计（论文）第四章基于PCA的人脸识别方法第一节问题描述在Matlab中，一幅图像可以由矩阵（或者可以说一个矢量）来表示，这个矢量是由像素值组成的。如一幅N*N（本实验中为56*46）像素的图像，无论是训练集还是测试集中的图像，他们都对应于N2维空间中的唯一点。新的子空间具有怎么样的形式不重要，重要的是将测试图像和训练集图像投影到它上面，然后利用各种距离度量对图像的投影记录判断相似度来确认是否处于同一类中。判定一个度量指标的优秀不仅要求它真实可靠，还必须能够最大限度的体现出个体间的差异。如果有一项指标，不同个体的取值其实相差不大，那么该指标就不是优秀的指标，是不合格的，也是没有意义的。本实验所用的ORL人脸库，绝大部分人脸的背景区域差别很小，表达图像时，这些维度的投影对区分不同人脸身份的“贡献”不大，可以认为这些投影是图像表达的冗余信息。而主成分分析算法可以只概括信息的重要部分，而忽略对识别没太大影响的部分。PCA算法是通过去除了原始数据的相关性，达到了降低维数的效果。将特征值按从大到小排序，选取前N个较大的特征值对应的特征向量，这N个特征向量就构成了原始图像的又一表征矩阵。之后把训练集和测试集的图像投影到行的表示空间，那么任何一张图片都是新的表示空间的一个点，与测试图像点最近的一个或多个点所代表的那张人脸图像就与测试图像是同一类的。第二节PCA算法介绍一、PCA的理论基础1、投影设d维的样本x1，x2，…,xn以及一个d维基w，那么标量：是相当于Xi在基上的坐标值。如果-46- 重庆邮电大学本科毕业设计（论文）进行投影的结果，可以从图4.1看到。广而言之，如果有一组基组成的空间，那么可以得到在空间W上Xi坐标为（4-1）图4.1投影图2、PCA的作用及其统计特征[11]利用PCA算法处理原始数据，一般在三个方面发生作用：降维、去除相关性、概率估计。下面分别进行介绍：（1）、去除原始数据相关性根据概率学，随机变量X与Y的协方差为，记作。令（4-2）称为随机变量X与Y的相关系数。则X与Y是相关的，则X与Y是不相关的。（2）、降维如果有大小为P=n*m的图片，那么在原始空间表示需要一个N维矢量（其中N=n*m），但如果通过公式(4-1)把它降维后，只需要一个r*1维的向量就可以了。我们可以通过计算方差的大小来判定特征向量是否重要。特征向量重要性呈现指数下降，前面的部分成分已经可以表示绝大部分信息，由此可知，只选用前面几个重要的特征向量就可以来构建特征空间。3、特征脸-46- 重庆邮电大学本科毕业设计（论文）中的任意一个单位向量都可以表示一个特征脸。这些特征脸可以组成特征脸子空间，正交基有很多分量，它们都是一个个特征向量，而较大特征值的正交基就是主分量，它表示了人脸的低频部分，用于表示人脸的轮廓；相对次分量描述了人脸的高频部分，较小特征值所对应的特征向量描述了图像的具体细节，如不同图片的背景差异等。4、奇异值分解（SVD）设A是秩为r的m*n（m>>n）维矩阵，则存在一个对角阵和两个正交矩阵使得：（4-3）其中，,且，。（4-4）呈降序排列。其中为的非零特征值，分别是对应于的特征向量。由推论：（4-5）先计算的特征值及其对应的正交归一特征向量，然后可由推论知的正交归一特征向量是（4-6）这里协方差矩阵的特征值为：5、大矩阵特征向量巧妙利用小矩阵计算[11]我们可以利用低阶矩阵的特征向量来间接求得高阶矩阵的特征向量：设：A是秩为r的m*n(m>>n）维矩阵，是图像的协方差矩阵，先求大矩阵的转置矩阵的特征向量，然后通过以下两者的关系求得特征向量及特征值，大小矩阵如下：(4-7)显然，在没有单位化的前提下，的特征向量是，也是它的特征值。在求出特征向量后需要将其单位化。二、PCA理论原理K-L变换[12]Turk和Pentlad在Karhunen-Loeve变换(简称K-L变换)的基础上提出了PCA方法，K-L-46- 重庆邮电大学本科毕业设计（论文）变换是图像压缩领域的一种最优正交变换，人们将K-L变换作为统计特征提取的基础和依据。下面对K-L变换作一个简单的描述:如果X为n维的随机变量，n代表n个空间基向量的和，那么：(4-8)其中：是基向量，是加权系数，X还可以表示成矩阵相乘形式:(4-9)选取正交向量作为基向量，即(4-10)则系数向量为：(4-11)K-L变换的本质是新建坐标系，沿特征矢量对齐的方向将一个物体的主轴做旋转变换，初始数据向量的各个分量之间相关性由此解除，然后去掉所有带有很少“能量”的坐标系来降低特征空间的维数[14]。第三节PCA在计算机视觉领域的应用目前很多领域都用到PCA算法，在计算机数字图像处理和模式识别领域,PCA体现了以下三种用途：一、图像数据的表示数字图像处理领域中可以将图像信息表示成二维灰度矩阵，对于每幅图像原始矩阵坐标基成分的叠加，图像数据将被表达为原始特征空间的一个维向量:(4-12)二、对图像进行信息压缩由于PCA使用了K-L变换处理一个图像序列，不仅去除了图像信息间的相关性，同时降低了数据维度，保留了图像信息的主成分。图像信息的次要分量代表了图像的高频成分，描述了图像的具体细节，而细节部分往往不能被人们感知，保留它们对人们的视觉感知没有特殊效果，根据主成分-46- 重庆邮电大学本科毕业设计（论文）的排序去除其中次要的分量后不影响视觉效果，但是数据已得到很大的压缩。另一方面，某些成分对机器而言没有很好的区分度，例如本文中取出最主要的占到90%能量的主分量，其余分量对人脸识别“贡献”很小而被丢弃，但是相比于2576已得到很大的降维，实现了数据有损压缩。三、模式识别例如本文所使用的一系列图像，每幅图像像素大小为N*N，即每幅图片都可以表示为一个N2维的列向量。将所有图像排成一个N2*200的矩阵：ImageMatrix=(ImageVec1,ImageVec2,…,ImageVec200)(4-13)然后对它们进行PCA处理，找出主元。训练集是200幅不同的人脸图像，人脸结构具有很大的相似性（ORL人脸库中收集了40个人的图像，其中每人10张图片，选取前5张作为训练集，后5张作为测试集），PCA方法的实质是寻找测试样本和训练样本图像中相似的维度。对训练集人脸库中人脸图像进行K-L变换，提取称作“特征脸”(EigenFace)的特征向量，并用它来描述人脸的模式信息。测试人脸如果属于训练集中的某一人，则会在主成分中找到对应的“模式”。测试图像与训练图像一般投影在变换后的主特征向量上，对所得投影值计算距离的接近程度划分人脸类。第四节本章小结本章主要详细介绍了PCA特征提取方法的一些原理，概念等。PCA是对原始的图像用像素表示成的矩阵进行K-L变化，在变化后的空间里，挑选出较大的特征值所对应的特征向量作为主成分，形成一个子空间，然后提取特征。PCA方法的实质是寻找测试样本和训练样本图像中相似的维度。PCA负责处理多元数据，它可以表示最佳的原始数据及其初始化，可以满足最优的最小均方误差意义。PCA在某些方面来说是分离数据的最佳的方向，但是对于一个非线性的数据来说，很难做出好的线性分类，这种情况下，可以考虑核PCA的方法，即核主成分分析方法（KPCA）[14]。现在将低维数据经过映射处理反映到高维特征空间中，下一步我们将考虑在该特征空间中运用线性分类算法。-46- 重庆邮电大学本科毕业设计（论文）第五章人脸识别系统的设计与实现第一节仿真实验流程图图5.1仿真流程图①确定训练样本和测试样本；②通过PCA变换矩阵实现降维的效果；③投影到降维子空间生成相对应的坐标；④通过最邻近距离分类法实施识别。第二节读入人脸库建立人脸空间一、人脸库简介实验中使用的是著名的ORL人脸库[15]。首先对该库做一个简单的介绍：①ORL人脸库从40个人处采集每人10幅，所以人脸图像共计400幅-46- 重庆邮电大学本科毕业设计（论文）①这个数据库较为规范，背景单一，基本上图像的光照和强度都差不多。②ORL库从全局来看变化不大，但人脸对准不够整齐统一，同一人可能有不同的人脸偏转角度，或者不同的表情，某些人脸上还有少许遮挡物，比如头发遮挡或者戴了眼镜，比较具有代表性，能够较好地代替自然条件下采集的人脸图像。实验中我们将每个人的前5张图片作为测试集，后5张图片作为训练集，每次随机选取测试集中的一张图片与训练集图片进行对比识别，并识别结果。图5.3ORL人脸库中前十幅人脸图片图5.4校正后的人脸库中前十幅人脸图片-46- 重庆邮电大学本科毕业设计（论文）实验所用的ORL人脸库每张46*56的图片可以看成是一个2576维的向量，对ORL人脸库，把一幅图像按列优先排成一维行向量（1*2576），从几何空间角度来说，一个2576维空间中一点代表了一张人脸图像。每次我们从200张人脸图像中选取一张作为测试人脸，其余200张人脸图像构成训练集，那么测试图像可表示为1*2576的行向量，训练集可表示为200*2576的矩阵。归一化后的图像是1*2576维矢量，可视为2576维空间中的一个点，可以通过K-L变换将图像用一个低维子空间来描述。PCA算法就是找到能够最好地说明图像在图像空间中的分布情况的主成分，这些主成分所张成的空间构成了新的原始图像表示空间。原始人脸图像由张成新空间的正交基线性组合而成。二、计算K-L变换的生成矩阵训练集的协方差矩阵[16]为：(5-1)，是平均人脸，M为训练人脸数，协方差矩阵CA是一个N=2576*2576的矩阵，N是的维数。根据K-L变换原理，由大矩阵的部分较大且非零特征值的特征向量构成了新的原始空间。直接求N2大小矩阵CA的特征值和正交归一特征向量是一件非常困难且复杂的事,我们可以通过求解小矩阵的特征向量和特征值间接获得大矩阵的特征向量和特征值[17]。计算出CA的非零特征值（降序排列，1<=rliezuobiao_new(t))&(a<=liezuobiao_new(t+1)))liecha=chazhi(liezuobiao_new(t),liezuobiao_new(t+1),pix_matrix(t),pix_matrix(t+1),a);break;endend4.pix_different.m-46- 重庆邮电大学本科毕业设计（论文）functionpix_diff=pix_different(A,row,midle);pix1=0;pix2=0;fort=1:row%21到23排的像素和form=(midle-3):(midle-1)pix1=pix1+A(t,m);endendfort=1:row%24到26排的像素和form=(midle+1):(midle+3)pix2=pix2+A(t,m);endendpix_diff=abs(pix1-pix2);-46-'