基于Kinect的纹理建模 26页

'学士学位论文题目基于Kinect的纹理建模英文TexturingmodelingwithKinect题目院系少年班学院姓名关梓翘学号PB10000658导师刘利刚教授日期2014/6/6 中国科学技术大学本科毕业论文致谢我的毕业论文课题是在刘利刚教授的指导下完成的，刘老师敏锐的图形感觉和敬业精神让我受到很多启迪，在此对刘老师的教导和帮助表示衷心的感谢。周文师兄提出了解决这个问题的完整的构想，在我的研究过程中提供了大量的技术支援，跟我详细讨论了很多细节；陆炎和我的研究问题密切相关，他和我配合完成了自拍系统的搭建的探索，没有他们的帮助，我的毕业论文恐怕完不成。我有幸加入中国科大图形与几何计算实验室(GCL)，这是一个很棒的顶级的团队，与老师、师兄师姐和同学们共同学习、共同工作，收获良多，帮助过我的人太多，难以一一道谢。杨周旺老师、周世哲老师和童晶老师都在我学习和参与科研的过程中给过我指导，从大的想法到小小的细节给了我明确的指引，让我少走了很多弯路。黄雨人和李航是我做“大学生创新计划”研究的队友，在一年时间里，我们在相关或不相关的问题上并肩作战，得出丰富的成果。王杨抟风是带我接触第一个计算机图形学研究项目的领路人，他的研究思维非常清晰，有很多巧妙的想法，真的是个研究和折腾的人才。最后，感谢我的父母一如既往的关心和支持。我正式与计算机图形学研究打交道的时间不长，但是我越来越喜欢这样有数学和思想支撑的研究领域，在学习中懂得漂亮的结果有一个漂亮的理论解释，那种开心是难以描述的。我依然记得刘老师的课上的第一个幻灯片上讲，计算机图形学领域是“广阔天地，大有可为”。自勉。关梓翘2014年6月6日 中国科学技术大学本科毕业论文目录摘要................................................................................................................................2Abstract..........................................................................................................................31.引言...........................................................................................................................41.1三维扫描技术及Kinect建模简介.................................................................41.2纹理处理技术简介..........................................................................................61.3本文的贡献及内容组织..................................................................................72.点颜色处理系统.......................................................................................................82.1系统流程..........................................................................................................82.2数据预处理......................................................................................................82.3Poisson融合.....................................................................................................92.4实验结果........................................................................................................113.纹理贴图处理系统.................................................................................................133.1系统流程........................................................................................................143.2纹理图像初始化............................................................................................143.3缝隙消除........................................................................................................153.4实验结果........................................................................................................164.讨论和比较.............................................................................................................185.结论和展望.............................................................................................................20参考文献......................................................................................................................211 中国科学技术大学本科毕业论文摘要本文针对基于Kinectfusion和Kinect2的两套三维自拍系统，分别提出了基于点颜色和纹理贴图的人体模型纹理融合的方法。两套纹理处理技术分别都整合到自拍系统中，实现了带全身纹理的人体模型的全自动采集和处理。与先前的处理方式相比，我们的算法无须复杂的光照计算，即可消除多帧纹理图像的颜色差异。我们的点颜色处理系统抛弃了SIRFS光照估算，而是首先经过预处理和深度图像重投影编辑，再经几何重建，对顶点的颜色直接进行Poisson融合。但是基于点颜色的办法对脸部的细节的模糊比较明显，纹理质量的提高受到限制。纹理贴图的融合要用到前后左右四个视角的图像及纹理坐标输出，首先对模型片作预处理，对纹理图像作剪裁合并，然后将合并好的纹理图像坐标赋给全身模型，最后查找贴图的接缝执行Poisson图像编辑消除缝隙。纹理贴图的处理方式，由于对图片信息的充分利用，及不存在平滑模糊效应的原因，在视觉效果上胜于点颜色的处理方式。今后在继续提升3D自拍的几何、纹理质量时，应继续发挥纹理贴图思想的优势。关键词:三维扫描,人体建模,深度相机,纹理贴图,Poisson方程2 中国科学技术大学本科毕业论文AbstractWepresentedtwodifferenttextureblendingalgorithms,onevertex-color-basedandonetexture-mapping-based,respectivelyfortexturesofhumanbodycapturedbytwo3Dself-portraitsystembasedonKinectfusionandKinect2scanning.Bothofthemwereintegratedintheself-portraitsysteminordertocaptureandprocesshumanbodymodelswithtextureautomatically.Comparedtopreviousmethods,oursarefreefromcomplexshadingcalculationstoproduceilluminationconsistentresults.Inthevertexcolorsystem,wegotridoftheshadingcomputationsusingSIRFS.Instead,wefirstpreprocessedandeditedthescanswithrangeimagere-projection,whichwereusedforgeometryreconstruction,andfinallyperformedPoissonblendingonthevertexcolors,butthefacialdetailswerepronetobeblurred.Inthetexturemappingsystem,webeganwithpreprocessing,imagecuttingandmergingontheimagesandcorrespondingtexturecoordinatesforthefront,back,leftandrightviews,thenassignedthemergedimagewithnewcoordinatestothewholebodymodel,andeventuallyexecutedPoissonimageeditingalongsidetheboundariesbetweendifferenttexturestripstoeliminatethecolordiscrepancy.Duetothefulluseofthetextureimageandnoblurringeffect,thetexturemappingmethodgivesbettervisualresultsthanthevertexcolormethod.Theideaofusingtextureimageshouldbekeytocontinuingtoimprovethequalityof3Dself-portraits.Keywords:3Dscanning,humanbodymodeling,depth-sensor,texturemapping,Poissonequation3 中国科学技术大学本科毕业论文1.引言在计算机图形学、计算机视觉领域中，通过扫描获得真实世界物体的模型，一直是三维模型获取的重要渠道。简单、快速和高精度的三维扫描方案一直是图形工作者研究的重点。其中，实现便捷地获取人体三维模型尤其有重要的价值，在动画、游戏、仿真和虚拟现实等各个领域都有重大的用途。有了模型以后，在很多应用场合中用户对模型的纹理信息更加关注，对虚拟模型的穿戴、长相等细节感知更加深刻、敏感，逼真的纹理细节能让用户对获得的模型的真实程度有更深的感受。因此，扫描建模的纹理处理技术十分关键。本文主要研究Kinect人体建模中对纹理的处理和融合技术。1.1三维扫描技术及Kinect建模简介传统的三维扫描技术，如激光扫描仪和结构光扫描仪[1]，都是基于一些立体视觉的成像原理搭建的。因为其三维成像的计算依赖于精确的系统标定，所以这一类设备要么需要从厂家购买，价格十分高昂；要么通过手工搭建[2]，但是标定繁琐、稳定性差，重建成功率得不到保障。使用像结构光扫描仪这些扫描设备用于人体扫描，最大的问题在于扫描所需的时间一般都比较长，根据捕获帧率的不同，这需要用户在较长的时间内保持静止，用户体验很不理想。近年来，像Kinect这样的深度相机设备的发展，吸引了研究人员的持续关注。不同于传统的扫描系统，Kinect基于主动发射近红外光的原理，直接通过视差计算距离，这使得模型的获取十分简单快捷，而且不受光照和颜色的影响；在纹理数据方面，Kinect装载有红外相机和RGB相机，两个相机经过出厂配准，存在有三维点云和颜色信息的一个对应，这使得我们可以获得带颜色的点云，进而输出带有点颜色的模型。Kinect面世后，很快地应用在人机交互领域，取得令人瞩目的进展，越来越多的研究人员也把注意力转移到利用Kinect采集的数据，完成快速建模的研究上来。要将类Kinect的深度相机数据用于三维建模，存在两个主要的障碍。一是深度相机的捕获数据存在大量的噪声，精度难以达到要求（如图1.1所示）[3]；二是要获得被测物体的全方位的数据，需要多帧的采集，多设备的配准和多片数据的注册是直接影响重建精度的关键难题。4 中国科学技术大学本科毕业论文图1.1Kinect深度数据（左）与激光扫描数据（右）的对比[3]为了解决Kinect深度数据质量不理想的问题，[4][5]利用三维人体模型库[6][7]拟合提高人体模型的质量，但是这类方法还原的几何细节较少，丢弃了纹理信息，而且模型库的数据约束了被采集者的姿态，自由姿势和挂饰、背包等物件的获取受到很大的限制。[8]采取了使用多台Kinect进行近景扫描的方式改善细节，但是多台Kinect不可避免地涉及特殊采集装置的搭建和标定问题，影响扫描系统的便捷易用性。在Kinect实时扫描的基础上发展起来的Kinectfusion技术[9]，让入门用户也能轻松地用扫移Kinect相机的方式重建完整的模型。但是，这一类方法需要采集者手持深度相机围绕着被采集者缓慢移动进行全身扫描，或者需要借助转盘、导轨之类的辅助设备，在整个扫描过程中，需要被采集者在较长的时间内保持静止；而Kinectfusion对GPU并行计算和存储的要求，更是提高了扫描系统的硬件门槛。最近，Li等提出了一套基于单Kinect和Kinectfusion技术的3D自拍系统[10]。尽管这套方法仍然依赖Kinectfusion，但已将采集设备简化为固定的单台Kinect，只须被采集者在Kinect前采集8个视角。然而这种方法需要用到Kinect的电动马达，这无助于解决扫描所需时间较长的问题，而且影响了系统的通用性。新一代Kinect2革新了深度数据的获取方式，采取了类结构光的编码定位方法，消除了老Kinect因模板匹配方法引起的周期性噪声波动，让单帧数据的几何细节有了很大提高（如图1.2所示），经过合适的处理，从单帧获得一个数据片现已成为可能；同时还搭载了新的全高清摄像头，支持带纹理坐标的模型输出，这使得单片模型的纹理质量也有了很大的提升。Kinect2在几何和纹理上的新特性驱使我们尝试将它用于自拍系统的搭建，并在此基础上完成了纹理处理系统。5 中国科学技术大学本科毕业论文图1.2Kinect（左）与Kinect2（右）的数据质量比较1.2纹理处理技术简介回顾Kinect建模技术的发展，可以遗憾地发现，随着采集和处理方法的进步，模型的几何细节得到了很大的改善，可是纹理的处理并没有跟着改进。多数的建模方案，都把关注点放在几何和网格上，而Kinect能容易得到的颜色，却没有利用到最终的模型里来。尤其是在多视角扫描和类似Kinectfusion的扫移相机扫描过程中，光照和遮挡关系的变化，使得纹理的赋予和融合成为一个不平凡的问题。Kinectfusion内建的彩色输出功能并不可靠，存在较多的白斑、对应错误和光照、色调突变；而利用多视角下的数张照片进行纹理贴图，也一直没有处理光照变化的较好的解决方案。这使得一个通过多帧融合得到的扫描模型，难以生成合适的完整的纹理。融合多幅图像的纹理主要有两种思路。其一，是估算每幅图像的光照和反射，去除光照的变化，还原出一系列的“原色”的图片。由单张图片估算场景的形状和光影，最初是作为一个intrinsicimages的问题[11]提出来的。这个问题逐渐简化为分离图像的着色和反射的问题[12]。由着色估算形状[13]和由轮廓估算形状[14]是估算场景形状的两个经典问题，SIRFS[15]整合了这几个问题，从单幅图像中一并求解形状、反射和光照。其二，是不显式地求解反射度，而是对各幅图像直接进行混合，得出色调和光照一致的图片。恢复或修改图像的颜色和色调常常利用到颜色场的梯度为引导，求解Poisson方程，如[16]和Poisson图像编辑[17]。[18]对一个比较大的图像集合进行统一的色调调整。Poissonblending[19]是基于网格进行的纹理融合，同样是估算每个三角面片上的Laplacian，求解Poisson方程来进行色彩的融合。6 中国科学技术大学本科毕业论文此外，[20]是基于光流来考虑多幅图像，这种方法需要一系列光照均匀的图像，考虑的是贴图从哪一张图片选取和图片的变形贴合模型表面的问题。在[10]提出的3D自拍系统中，模型的纹理是以八个视角下的Kinectfusion颜色输出为输入，经过合适的预处理，再做SIRFS[15]和Poissonblending[19]合成得来的。然而实测表明，SIRFS算法开销巨大，计算时间很长，而且对光照变化的处理并不理想；Poissonblending运算会抹除较多的细节，而且对杂色相当敏感，融合效果难以令人满意。1.3本文的贡献及内容组织为了解决Kinect建模的纹理处理问题，本文提出了针对两套系统的纹理处理框架：其一是基于Kinectfusion的点颜色处理系统，其二是基于Kinect2单帧的纹理贴图处理系统。两套方案都已整合到建模系统中，无须任何手工交互，实现了带纹理人体模型的快速自动采集。以下第2章、第3章分别介绍点颜色系统和纹理贴图系统，第4章对两套系统进行讨论和比较，第5章为结论及展望。7 中国科学技术大学本科毕业论文2.点颜色处理系统我们简化了[10]中的纹理处理流程，本章将会详细介绍我们的处理框架。2.1系统流程经过自拍系统的数据采集步骤，我们得到了环绕人体约8个视角的带颜色Kinectfusion单片模型，带颜色模型需要经过预处理，然后继续经自拍系统进行刚性配准[21]、非刚性配准[22]和Poisson重建[23]，最后执行Poissonblending进行纹理融合。其中，几何重建部分本文不作详述，以下详细介绍纹理重建的实现方法。系统流程如图2.1所示。输入预处理几何重建纹理重建模型片x8裁剪刚性配准Poisson融合去底面非刚性配准去噪Poisson重建深度图像投影边界收缩网格重构图2.1系统流程2.2数据预处理数据预处理的目的是清理数据得到一片干净的单片模型，并且去除模型边缘的颜色不可靠的部分。预处理过程为：先估计人体所在位置，作裁剪、去底面、去噪等处理。然后，取每个单片模型的相机视角ci(i=1,...,8)为Kinectfusion马达扫移的中央位置，向相机视角ci投影生成深度图像，在深度图像上将有数据部分向内收缩一点距离（实验中取4个像素），输出缩边后的带颜色点云，并重新生成网格。预处理前后的效果如图2.2所示。值得一提的是，与[10]的系统不同，我们将模型的缩边放在配准和重建之前完成，这是因为纹理的对应错误多数出现在模型的边缘附近，在非刚性变形之前，8 中国科学技术大学本科毕业论文相机视角ci能更好地模拟深度相机捕获的视角，视角下的边界更加符合获取模型时的边界，这时进行重投影、收缩边界操作更加合理；并且，删除不可靠的边界，也能提高几何重建的质量。由于重投影之前已经进行了去底面操作，并且为了兼顾头顶重建的质量，在实际操作中，仅对x方向进行收缩即可。图2.2模型片预处理前（左）和后（右）的比较2.3Poisson融合在[10]中，系统首先对多视角的图片作了SIRFS[15]求解。事实上，由单张图片完成形状和光照的估算，是一个非适定的问题，对一般情况不容易得出合适的解。即便是SIRFS算法系统，也需要预先训练好的反射和着色概率模型库，以及高度复杂的先验项和优化框架。实验表明，SIRFS对于一般的一张图片，优化求解占用的资源极高，甚至都不能在普通计算机上完成，而且对于较剧烈的光照变化，效果并不理想（如图2.3所示）。而在3D人体自拍的流程中，考虑到室内的光照条件，这样的亮暗变化是比较常见的，因此，我们决定放弃光照的直接求解，舍弃SIRFS处理，直接考虑Poisson融合。Poissonblending采用[19]中所提出的TextureStitcher，这是一个多重网格的网格Poisson方程求解器，利用8片颜色数据对每个顶点进行着色和颜色融合。实验证明，运用预处理好的数据，Poissonblending能较好地调和全身上下的光照差异，然而，对于纹理细节要求最高的面部，融合的效果并不理想（如图2.4(a)所示）。造成这种状况，有一定程度上是因为基于点颜色的纹理需要模型有较密9 中国科学技术大学本科毕业论文的顶点，而更加重要的原因，是因为Laplace算子运算的光滑效应，在消除光照差异的同时，也会抹除重要的特征，消色差和保特征难以两全。图2.3SIRFS不能消除较大的光照变化。图片来自[10](a)(b)(c)(d)图2.4(a)用点颜色方法恢复的脸部颜色出现不自然(b)优先采用正面纹理，其中正面区域用红色标出(c)优先采用正面纹理得到的颜色初始化结果(d)融合结果我们尝试了提高模型的顶点数的效果，但是这对面部细节的改善作用很小，计算量和运行时间却急剧增长，从这个方面提高质量并不可行。不过为了解决模型脸部的杂色问题，还是可以对Poissonblending程序作一处改进。考虑到3D自拍正面的一片模型的脸部精度最高，将正面一片的颜色信息全部用上是比较合理的，同时也为了避免脸部从多片视角中选取初值，引入大量不规则的边界，造成融合的困难，我们在给顶点赋初值时，若某个点与第一片正面模型的距离小于一个阈值，就直接采用第一片的颜色，不再比较其他片上的最近点。由图2.4(b)-(d)可见，这个限制让脸部的初值比较均匀，一定程度上改善了脸部颜色不自然的问题，但是要提高细节的质量依然困难。10 中国科学技术大学本科毕业论文2.4实验结果我们整合了3D自拍的全套系统进行了一些测试，结果如图2.5所示。得益于纹理信息弥补了模型几何细节较少的缺憾，带颜色模型还是能提高模型观感的真实度，系统消除光照差异的处理还是比较成功的。11 中国科学技术大学本科毕业论文图2.5输出结果12 中国科学技术大学本科毕业论文3.纹理贴图处理系统鉴于采用点颜色的方法提高纹理精度存在原理上的困难，我们随后转而考虑采用纹理坐标进行贴图的方法。纹理贴图的想法与网格的参数化[24]密切相关。它的做法是使用一幅图片来贴网格模型的表面纹理，对于一个三角网格，三角片的三个顶点分别赋予图片上的一个坐标，指定其颜色为图片上该点的颜色，三角片的内部任意一点插值三个顶点的坐标，从而找到点在图片上的位置。这种做法最大的优点就是最大限度地利用了图片的颜色信息，由于三角形的内部用上了图片对应区域的纹理，使得模型可以用较少的点数呈现很好的纹理细节，如图3.1所示。图3.1点颜色（上）与纹理贴图（下）在不同网格密度下的效果对比。随着网格顶点数的减少，给顶点赋颜色的效果逐渐变模糊，而纹理贴图的视觉效果并没有影响。采用纹理坐标，或者说是多幅纹理贴图进行拼接和融合的方法，需要存在模型片和单幅纹理贴图之间的完整的初始纹理对应。因此，在采集过程中相机要发生扫移的Kinectfusion方式不再合适。在此我们改用了Kinect2进行8视角单帧扫描，扫描可获得纹理图片及带有纹理坐标的模型，接下来纹理处理的目的就是13 中国科学技术大学本科毕业论文将多幅图合成一幅，赋予融合为单个的完整模型，然后再在图像上做缝隙消除。3.1系统流程数据采集步骤可以得到8片带贴图的模型。但是，这8片模型的重叠区域非常大，这主要是为了模型配准的鲁棒性的考虑。对纹理重建来说，并不需要这么多片的颜色数据——实验表明，前后左右4个视角的贴图已经有合适的重叠区域，用来进行过渡融合绰绰有余。首先，我们选用这4片模型片为输入数据，对模型片进行类似2.2所述的预处理，用于几何重建。得到干净的模型以后，将4幅纹理图片作合适的裁剪，拼合成一幅统一的图片，然后对重建好的全身模型，就近赋予合并纹理图片的纹理坐标，建立纹理的初值。有了初始的纹理贴图以后，寻找贴图的接缝，计算出需要进行图像编辑的区域，然后执行色彩融合。系统的流程如图3.2所示。输入预处理几何重建纹理重建模型片x8裁剪刚性配准贴图裁剪合并纹理图片x4去底面非刚性配准计算边界对应(前后左右)去噪Poisson重建Poisson图像编辑边界收缩图3.2系统流程。比较图2.1，这套系统的处理重点在贴图上3.2纹理图像初始化初始化主要包含两项工作：图片拼合和纹理坐标指定。由于采集人体模型时图片的很多地方都不会用到，我们分别寻找4片模型上引用纹理坐标的边界，把4幅图片用到的区域拼合成一张新的图片，同时修改纹理坐标为新图片的坐标。有了4片带有新坐标的模型片，即可就近地给全身模型的每个面片赋予纹理坐标。在这里我们需要用到面的纹理坐标，而不是赋在点上，这是为了在接缝处让一个顶点在左右使用不同的纹理坐标。纹理坐标赋值完成后，自然可以找到所有带有多于一个纹理坐标的顶点为贴图的边界顶点，用作下一步的处理；此时模型已经可以输出网格文件，剩余的步骤将在图片上完成编辑。需要注意的是纹理坐标的初值应按前、后、左、右的顺序赋给，也就是说，14 中国科学技术大学本科毕业论文对全身模型的每个面依次寻找最近邻的模型片上的点的时候，应该先全部对正面模型片搜索，所有面查找完毕以后，再考虑下一个模型片，若某个面已有坐标值，则跳过不再考虑。这样处理的原因，其一同样也是出于保证正面的精度的考虑，其二是让前后左右四片的引用区域基本能成为规则的四片带形区域，形成合适的接缝，也利于后期的图像融合。初始化结束以后模型的纹理引用分布如图3.3所示。图3.3纹理图片合成结果（左）及纹理引用分布（右）。模型贴图范围与引用的图片区域以同色标出（前：红，后：绿，左：蓝，右：黄）3.3缝隙消除经3.2得到的纹理模型两侧会出现明显的明暗缝隙（如图3.4(a)所示），为了消除这一缝隙，我们采用Poisson图像编辑[19]的方法进行融合。先前，我们已经得到了边界顶点，并且知道边界顶点构成了带状纹理区域的左边和右边。接下来，我们对左边模型片和右边模型片，模型片的左边界和右边界，都作一样的考虑。实际计算中，我们并不需要这么密集的边界顶点。为此，可以先对一条边上的边界顶点按y坐标排序，然后通过采样选取一小部分顶点，同时也知道了这些点对应的正面（背面）纹理坐标。这时，就可以取连接这些点的折线作为纹理区域的边界，再由线性插值将侧边的边界点上的边界条件，取作正面或背面对应点的颜色值。这样，侧边纹理区域的内部就可以简单地用一个带状多边形来考虑，边界条件已有，求解离散Poisson方程即可变换内部的颜色。融合结果如图3.4(b)所示。Poisson方程的推导和建立可参考[19]。15 中国科学技术大学本科毕业论文(a)(b)图3.4(a)直接贴图效果(b)Poissonimageediting消除缝隙结果3.4实验结果我们用C++实现了完整的3D自拍系统，进行了一系列实验，结果如图3.5所示。结果表明纹理贴图的处理方法具有明显的优势，面部、衣服图案、褶皱等细节重现完好，细腻的纹理为重建效果增色。16 中国科学技术大学本科毕业论文图3.5输出结果17 中国科学技术大学本科毕业论文4.讨论和比较本文介绍了基于点颜色和基于纹理图像的两套纹理处理系统，并且展示了各自的处理效果，从最终观感来看，纹理图像的方法具有无可比拟的优越性。由于点颜色和纹理坐标的获取方式的不同，两套自拍系统的具体流程上也采取了不同的处理方式，这也影响了纹理处理的技术和操作流程，在此我们作一简单的比较，如表4.1所示。表4.1点颜色和纹理图像处理系统的比较点颜色纹理图像纹理信息颜色图像纹理数据RGB值纹理坐标附加图片不需要需要顶点数要求需要较密无融合运算对象颜色纹理空间与网格拓扑有关融合运算区域规则矩形区域或一定的有限元空间约束条件全网格的初值(颜色)边界(颜色)条件3D网格上的融合技术2D平面Poisson方程Poisson方程平滑模糊效应有无相比点颜色的处理方式，纹理贴图方法存在两大优势，一是图片信息完全利用，二是无平滑和模糊效应。图片信息的利用率，是纹理贴图的三角片内部坐标插值的设计使然；而无特征平滑，是方程的性质决定的。对点颜色进行融合，需要点点加颜色约束，这样用Poisson方程进行融合求解，得到的是一个平均的结果。而纹理贴图处理系统，应用的是二维平面Poisson方程，对一片选区进行求解，求解区域有很好的边界条件，这让新的颜色沿着内部的引导梯度场很好地传播，最终观感就表现为只是色调发生了变化，而没有平均、平滑的效应，使得处理后的纹理不损失细节，大大提高了纹理质量。18 中国科学技术大学本科毕业论文如果把两套3D自拍系统的全流程都考虑进来的话，采用Kinect2的采集系统还有更多的优点，比如流程较简单，采集速度比较快，无须用到Kinectfusion，因而计算机不需要带有高性能显卡等等，综合考虑，基于Kinect2的采集系统是全面优于基于Kinectfusion的系统的。在两者的几何细节都不太细致，主要依靠纹理信息提高模型的观感质量的情况下，纹理贴图方式成为最大的闪光点，纹理结果充分利用了图片，可以说达到了最佳。接下来，可以把提高质量的重点转移到几何处理的环节上了。19 中国科学技术大学本科毕业论文5.结论和展望本文从点颜色和纹理坐标两种技术入手，探究了Kinect建模中的纹理处理问题，研究的结果也为多视角融合建模、大尺度场景重建中遇到的纹理处理问题提供了一些思考。光照、颜色的感知和理解，是计算机图形学、计算机视觉和计算摄影学领域绕不开的问题。由二维信息——图片和二维的“眼睛”——彩色相机恢复出三维场景的研究中，几何不是唯一的关注点，颜色同样有重要的现实意义，更重要的是，这两个问题的求解是相互关联的。然而这个问题却是非常微妙而不容易的。从二维中看见三维，从着色中看清原色，是从相当有限的信息中完整重构出整个场景，这样的任务充满挑战性。而这样的求解之所以能够成功，充分表明了大自然就是用这样非常有限的信息，推演构造出我们所见到的复杂的世界，这种无限的可能性又是引人入胜的。我们可以说，计算机图形学不仅是研究计算机如何处理图形的科学，也是研究我们自己如何理解可视世界的科学。在三维人体建模问题上，逼真的纹理是考量模型质量的关键一环。因为人本身对人脸特征、穿着打扮这些方面的熟悉，对纹理的真实感的要求也自然较高。在虚拟现实的诸多应用，譬如虚拟试衣、虚拟游览、虚拟角色聊天这样的应用之中，一套行之有效的纹理处理框架具有重大的实用价值。本文所提出的系统较好地解决了纹理捕获中遇到的关键问题——光照的影响和处理，实践了消除光照差异的关键思想，完成了实际可用的处理算法，对现有的纹理融合技术给出了切实的改进，也给今后的相关研究提供了参考和借鉴。若要继续提高3D自拍的质量，首要任务还是在于改善模型的几何。为了提高模型几何细节的质量，采集数据的系统配置很可能需要进一步改动，随之改变的纹理数据格式可能也需要新的处理思路。但从大方向上来说，还是应该考虑用纹理贴图和纹理坐标的方式来赋予表面纹理，充分利用纹理图像的数据，让现有系统的最大优势得以继续发挥。在色差消除方面，我们的纹理贴图系统只是简单地去除了贴图片之间的缝隙，但由于正面和背面两张贴图的光照方向正好相反，还是可能存在一些整体的差异，可以考虑先对整张纹理贴图执行一下色调上的调和和修正，再作下一步的处理。在最终的缝隙消除步骤中，所需的点和边界对应目前只是简单地通过原纹理坐标来获得，这样不可避免会存在一些对应错误。我们可以更细致地考虑，引入图像分割之类的做法来细化边界对应的查找和确定，使得颜色过渡的计算得出更合理的结果，必定会让融合质量有进一步的提高。20 中国科学技术大学本科毕业论文参考文献[1]Blais,F.(2004).Reviewof20yearsofrangesensordevelopment.JournalofElectronicImaging,13(1).[2]Lanman,D.,&Taubin,G.(2009,August).Buildyourown3Dscanner:3Dphotographyforbeginners.InACMSIGGRAPH2009Courses(p.8).ACM.[3]Zollhöfer,M.,Martinek,M.,Greiner,G.,Stamminger,M.,&Süßmuth,J.(2011).Automaticreconstructionofpersonalizedavatarsfrom3Dfacescans.ComputerAnimationandVirtualWorlds,22(2‐3),195-202.[4]Weiss,A.,Hirshberg,D.,&Black,M.J.(2011,November).Home3Dbodyscansfromnoisyimageandrangedata.InComputerVision(ICCV),2011IEEEInternationalConferenceon(pp.1951-1958).IEEE.[5]Zhou,J.,Pan,J.,Tong,J.,Liu,L.,&Pan,Z.(2013).Fast3DhumanbodyreconstructionfromKinects.InJournalofComputer-AidedDesign&ComputerGraphics,2013,25(6)on(pp.873-879).(inChinese)(周瑾,潘建江,童晶,刘利刚,潘志庚.使用Kinect快速重建三维人体.计算机辅助设计与图形学学报,2013,25(6):873-879).[6]Allen,B.,Curless,B.,&Popović,Z.(2003,July).Thespaceofhumanbodyshapes:reconstructionandparameterizationfromrangescans.InACMTransactionsonGraphics(TOG)(Vol.22,No.3,pp.587-594).ACM.[7]Anguelov,D.,Srinivasan,P.,Koller,D.,Thrun,S.,Rodgers,J.,&Davis,J.(2005,July).Scape:shapecompletionandanimationofpeople.InACMTransactionsonGraphics(TOG)(Vol.24,No.3,pp.408-416).ACM.[8]Tong,J.,Zhou,J.,Liu,L.,Pan,Z.,&Yan,H.(2012).Scanning3dfullhumanbodiesusingkinects.VisualizationandComputerGraphics,IEEETransactionson,18(4),643-650.[9]Newcombe,R.A.,Davison,A.J.,Izadi,S.,Kohli,P.,Hilliges,O.,Shotton,J.,Hodges,S.&Fitzgibbon,A.(2011,October).KinectFusion:Real-timedensesurfacemappingandtracking.InMixedandaugmentedreality(ISMAR),201110thIEEEinternationalsymposiumon(pp.127-136).IEEE.[10]Li,H.,Vouga,E.,Gudym,A.,Luo,L.,Barron,J.T.,&Gusev,G.(2013).3D21 中国科学技术大学本科毕业论文Self-Portraits.ACMTransactionsonGraphics(TOG),32(6),187.[11]Fischler,M.A.,&Witkin,A.P.(1981).RecoveringIntrinsicSceneCharacteristicsfromImages.SRIINTERNATIONALMENLOPARKCA.[12]Shen,J.,Yang,X.,Jia,Y.,&Li,X.(2011,June).Intrinsicimagesusingoptimization.InComputerVisionandPatternRecognition(CVPR),2011IEEEConferenceon(pp.3481-3487).IEEE.[13]Horn,B.K.(1970).Shapefromshading:Amethodforobtainingtheshapeofasmoothopaqueobjectfromoneview.[14]Brady,M.,&Yuille,A.(1984).Anextremumprincipleforshapefromcontour.PatternAnalysisandMachineIntelligence,IEEETransactionson,(3),288-301.[15]Barron,J.T.,&Malik,J.(2012,June).Shape,albedo,andilluminationfromasingleimageofanunknownobject.InComputerVisionandPatternRecognition(CVPR),2012IEEEConferenceon(pp.334-341).IEEE.[16]Levin,A.,Lischinski,D.,&Weiss,Y.(2004).Colorizationusingoptimization.ACMTransactionsonGraphics(TOG),23(3),689-694.[17]Pérez,P.,Gangnet,M.,&Blake,A.(2003,July).Poissonimageediting.InACMTransactionsonGraphics(TOG)(Vol.22,No.3,pp.313-318).ACM.[18]HaCohen,Y.,Shechtman,E.,Goldman,D.B.,&Lischinski,D.(2013).Optimizingcolorconsistencyinphotocollections.ACMTransactionsonGraphics(TOG),32(4),38.[19]Chuang,M.,Luo,L.,Brown,B.J.,Rusinkiewicz,S.,&Kazhdan,M.(2009,July).EstimatingtheLaplace‐BeltramiOperatorbyRestricting3DFunctions.InComputerGraphicsForum(Vol.28,No.5,pp.1475-1484).BlackwellPublishingLtd.[20]Dellepiane,M.,Marroquim,R.,Callieri,M.,Cignoni,P.,&Scopigno,R.(2012).Flow-basedlocaloptimizationforimage-to-geometryprojection.VisualizationandComputerGraphics,IEEETransactionson,18(3),463-474.[21]Rusinkiewicz,S.,&Levoy,M.(2001).EfficientvariantsoftheICPalgorithm.In3-DDigitalImagingandModeling,2001.Proceedings.ThirdInternational22 中国科学技术大学本科毕业论文Conferenceon(pp.145-152).IEEE.[22]Li,H.,Sumner,R.W.,&Pauly,M.(2008,July).GlobalCorrespondenceOptimizationforNon‐RigidRegistrationofDepthScans.InComputergraphicsforum(Vol.27,No.5,pp.1421-1430).BlackwellPublishingLtd.[23]Kazhdan,M.,Bolitho,M.,&Hoppe,H.(2006,June).Poissonsurfacereconstruction.InProceedingsofthefourthEurographicssymposiumonGeometryprocessing.[24]Floater,M.S.(1997).Parametrizationandsmoothapproximationofsurfacetriangulations.Computeraidedgeometricdesign,14(3),231-250.23'