高分辨率透射电镜碳烟图像量化分析方法研究.pdf 13页

'中国科技论文在线http://www.paper.edu.cn高分辨率透射电镜碳烟图像量化分析方法研究*石晓龙，沈涛5（华中科技大学自动化学院，武汉430074）摘要：为了减少柴油颗粒物污染，则必须研究柴油机中排气颗粒物即碳烟的生成机理。高分辨率透射电镜拍摄的碳烟图像具有所见即所得的直观性，能够直接观察到碳烟中原子水平的微晶结构，有力地促进了颗粒物生成机理的研究。为了量化碳烟中微晶的形态特征，本文对碳烟图像进行了图像处理并对微晶进行了基于模糊推理的修正，最后提取微晶的长度、曲率10和层间间隔特征。本文研究结果表明其图像处理方法较好的增强了微晶，其修正方法合理。关键词：碳烟，微晶特征，微晶修正，模糊推理中图分类号：TK428.9ResearchonquantitativeanalysismethodofHRTEMsoot15imageSHIXiaolong,SHENTao(SchoolofAutomation,HuazhongUniversityofScienceandTechnology,wuhan,430074)Abstract:Tostudythegenerationmechanismofdieselengineparticles,itisnecessarytostudythegenerationmechanismofdieselengineexhaustparticlesthatissoot.Thesootimagetakenby20high-resolutiontransmissionelectronmicroscopy(HRTEM)providesadirectinformationonlatticefringestructureofthesootintheatomiclevel,andeffectivelypromotestheresearchofparticlegenerationmechanism.Inordertoquantifythenanostructureofsoot,themethodofimageprocessingforsootandfuzzyinferenceforfringehavebeenappliedtoextractfringefeature.Theresultofthisstudyshowthattheimageprocessingmethodisbettertoenhancethefringeandthefringecorrectionmethodis25reasonable.Keywords:soot,fringefeature,fringecorrection,fuzzyinference0引言碳烟一般指柴油机排出的颗粒物的总称。对碳烟的微观结构的研究，有助于了解其与表[1][2]30面官能团和氧化反应相关的宏观属性。在实际应用中对改善柴油机的燃烧效率、催化过[3]程与治理柴油机尾气污染都具有极大的现实意义。碳烟微观结构的分析常见的方法有X射[4][5][6]线法、拉曼光谱法和透射电镜法，透射电镜法常作为另两种方法的辅助手段或进行交[7]叉验证，然而由于其能直接得到原子层面的成像，引起了广泛的研究，其中图像处理算法与修正方法在碳烟的微晶特征分析中起到了关键作用。[8]351996年，A.B.Palotás等人使用高分辨率透射电镜观察与图像处理技术分析颗粒微观结构。对碳烟图像进行FFT变换消除噪声后，再进行二值化处理，获取颗粒微观结构特征[9]信息。2011年，KuenYehliu等人对高分辨率透射电镜碳烟图进行了结构的定量分析，选定三种结构特征：微晶长度、微晶曲率和层间间距，且其图像处理关键算法主要是直方图均[10]衡和Tophat变换，增强效果特别明显。2012年PascalinePre´等人用图像形态学的方法提作者简介：石晓龙(1975)，男，副教授，主要研究方向：模式识别、智能计算.E-mail:shixiaolong@mail.hust.edu.cn-1- 中国科技论文在线http://www.paper.edu.cn40取高分辨率透射电镜拍摄的活性炭的微观结构特征，其以DFT为基础，先DFT再Tophat变换，最后用形态学的方法提取结构特征。综合来看，现有碳颗粒图像处理方法主要是简单DFT变换与Tophat变换，或者加上复杂的修正。主要表现在分割阈值小则微晶粘连多，最终保留的微晶少；阈值大则微晶数量少，长度短，造成微晶结构特征信息损失，而且修正复杂，可靠性低，容易引入二次误差。针对45现有方法存在的问题，本文提出处理方法能够在保留尽可能多的微晶的同时，减少相邻微晶之间的粘连和对微晶长度的影响。1碳烟图像处理为了满足实际使用的需求，特详细设计了碳烟图像的处理过程，同时有些关键步骤也提供了备选算法，以方便精细地调整图像处理效果。本文中算法的流程如下图1所示，其包括50图像预处理、图像对比度增强、碳烟图像微晶增强、微晶分割与掩模及细化与形态学修正。开始碳烟图像预处理碳烟图像对比度增强碳烟图像微晶增强微晶分割与掩模形态学修正与细化结束图1碳烟图像处理流程图Fig.1Flowchartofsootimageprocessing1.1图像预处理55原始图像是由高分辨率透射电镜明场成像得到的，微晶在碳烟图像中是黑色的。因为本文图像处理中将高亮度像素当做处理对象，所以需要通过负变换将图像反转。具体方法是先将原图的灰度值归一化为[0,255]，IN=255-IO；IN表示负变换之后的图，IO表示原始输入图像。下图2所示为负变换之前的碳烟图像，10nm尺度，每个像素约0.062nm，用于微晶特征的统计，下图3所示为负变换之后的结果图。-2- 中国科技论文在线http://www.paper.edu.cn图2负变换之前的图像图3负变换后的图像Fig.2ImagebeforenegativetransformationFig.3Imageafternegativetransformation601.2图像对比度增强1.2.1限制对比度直方图均衡[11]相比于传统自适应直方图均衡，限制对比度直方图均衡能避免背景噪声的过度放大，而且限制对比度直方图均衡可以去掉明暗不均的影响，改进图像的局部对比度以获得更多的图像细节，所以选用限制对比度直方图均衡来进行图像的对比度增强。限制对比度直方图均65衡算法将图像分成若干子块，对子块中统计得到的直方图进行裁剪，使其幅值低于某个上限，并将裁剪值均匀地分布在整个灰度区间上，以保证直方图总面积不变。然后再根据裁剪后的直方图进行直方图均衡，最后为了避免分块产生的块效应，对所有像素进行了插值，并在一定程度上消除拍摄的碳烟图像中明暗梯度的影响。其中用到的传统的自适应直方图均衡是一种经典的图像对比度增强的方法。下图4所示为限制对比度直方图均衡之后的结果图像。70图4限制对比度直方图均衡后的碳烟图像Fig.4Sootimageaftercantrastlimitedadaptivehistogramequalization1.2.2双边滤波[12]双边滤波是一种非线性的滤波方法，是结合图像的空间位置关系和像素值相似度的-3- 中国科技论文在线http://www.paper.edu.cn75一种折中处理，即考虑空域信息和灰度相似性，达到保边去噪的效果。一般用的维纳滤波或者高斯滤波去降噪，都会较明显地模糊边缘，对于高频细节的保护效果并不明显，所以双边滤波器因其简单、非迭代、局部的特点得到了广泛的使用。在本文中，考虑到限制对比度直方图均衡并未考虑像素之间的位置关系，所以使用双边滤波来平滑去噪，并保持微晶的边界清晰。此外在本文研究的10nm尺度的碳烟图像中，未80细化之前微晶的宽度只有3~5个像素宽度，保留边界能更好的保证微晶形状的不变性，避免相邻的近似平行的微晶之间间隔的模糊，且其间隔也只有3~5个像素宽度。图5为双边滤波后的效果图。图5双边滤波后的结果图85Fig.5Resultofbilateralfiltering1.3碳烟图像微晶增强1.3.1Tophat变换本文使用Tophat变换增强碳烟图像中的微晶，抑制噪声，一般来说Tophat变换就是用来提取暗背景中的亮物体，本文的用法与其完全一致。灰度图的Tophat变换定义为90T(݂)=f−(f°b)，f是被处理的图像，b是所用的结构元，f°b表示开操作。本文中Tophat使用大小为3的disk结构元来增强微晶，结构元的大小根据图中微晶的像素宽度来设置。图6是Tophat变换后的结果图。图6Tophat变换后的结果图95Fig.6ResultofTophattransform-4- 中国科技论文在线http://www.paper.edu.cn1.3.2DFT与带通频率增强滤波通过将图像变到频域来处理，主要是利用微晶空间域的间隔排列且间隔范围比较固定的特点，这种特点表现在频域上就是其频率域会有一段频带的较为突出，利用碳烟图像的这个特征，通过在频率域滤波后再返回到空间域可有效地增强碳烟中的微晶。100同时，本文对带通频段使用增强滤波进行强调，发现相比于不使用增强滤波可以有更好的效果，增强滤波的公式为：G(u,v)=[k1+k2*H(u,v)]F(u,v)，其中k1≥0控制平移，k2≥0控制拉伸。其增强滤波的参数k1与k2的选取范围可以参考当前处理图像的傅里叶谱的最小值、最大值以及平均值，通过经验确定，本文中一般取k1=1，k2=3。此外需要说明的是Tophat有助于优化其DFT带通频段，使IDFT后的微晶细节更加清105晰，这是将Tophat和DFT结合起来的理论依据所在。下图7所示为Tophat变换后图像的傅里叶谱，下图8所示为选择代表微晶的频带，下图9所示为k1=1，k2=3频率强调之后傅里叶逆变换的效果图。图7Tophat变换后图像的傅里叶谱图8选择代表微晶的频带Fig.7FourierspectrumofimageafterTophatFig.8Frequencybandthatbechoseanddenotefringetransform110图9k1=1,k2=3频率强调之后傅里叶逆变换的结果图Fig.9ResultofIDFTwithEnhancementfilterask1=1,k2=3-5- 中国科技论文在线http://www.paper.edu.cn1.4微晶分割1.4.1单阈值[13]主要是用Otsu分割方法与单阈值，但常用的是Ostu，因为Ostu是按类间方差最大的115情况来分割的。在实际的使用过程中，Otsu有时其分割效果不是最好，因为其类间方差最大的准则并不一定符合噪声与微晶的灰度值分布，特别是本文使用DFT增强方法也会导致空白背景区域的噪声也会被增强出来，但是这只是增强微晶区域导致的副作用，之后会使用图像掩模只保留微晶区域，所以备选使用单阈值分割，细调阈值参数直到微晶分割达到比较满意的状态为止。图10为单阈值分割效果图。120图10单阈值分割结果图Fig.10Resultofsinglethresholdsegmentationwiththreshold=1301.4.2方差分割掩模法由于空白区域的噪声存在，高频强调滤波也会增强空白区域，所以需要做一个掩膜来确125定微晶集中区域。以一定大小的滑动窗口在图像上滑动，计算窗口内像素的方差作为窗口中心所在像素的值，对图像上每一个像素点都做如上处理。再做单阈值分割，然后对分割得到二值图进行形态学开闭和填充，最终得到的图作为掩膜选择感兴趣的微晶所在区域。得到掩膜后，将掩膜与分割结果进行与操作即得到最后结果。图11为方差分割法所得到的掩模，图12为分割图的掩模结果。图11方差分割法所得到的掩膜图12Otsu分割图的掩模结果Fig.11MaskaftervariancesegmentationFig.12Maskresultofsegmentationimage-6- 中国科技论文在线http://www.paper.edu.cn1301.5微晶形态学修正与细化先使用形态学开闭对微晶进行了形态学修正，使微晶之间的粘连更少，但不能过分修正而是微晶的长度变短，根据微晶的一般宽度3~5个像素(与碳烟图像的比例尺有关)，一般选择小于微晶宽度1~2个像素大小的结构元，至于结构元的形状本文中默认为disk。微晶形态学修正效果如图13所示。135细化能提供图像对象信息的方便和简明的表示，在本文中能有助于微晶特征的提取。通[14]过对比Zhang-Suen细化，本文使用的形态学细化，其保留微晶细节更多，而且运算速度较快。微晶形态学细化效果如图14所示。图13形态学修正结果图140Fig.13Resultofmorphologicalthinning图14形态学细化结果图Fig.14Resultofmorphologicalthinning2微晶修正145为了方便微晶特征的统计，并使提取的微晶更符合理论的情况，必须对微晶进行修正。[9]修正的关键点在于对非两端点微晶进行修正，也就是多个端点的微晶，文献直接删除这些非两端点的微晶主要是因为其无法用来求微晶长度和曲率，所以要将其删除，但是删除有时导致近乎一半的微晶被删除(按像素面积来统计且与分割阈值有关)，这将损失单幅图中大部分的统计资源，而且可能有信息损失，直接影响统计特征的可信度，所以必须对这种非两端-7- 中国科技论文在线http://www.paper.edu.cn150点的微晶进行进一步处理。本文中微晶修正算法的流程如下图15所示，其主要包括OCM预处理、微晶打断、微晶连接与微晶修正后处理。图15微晶修正流程图Fig.15Flowchartoffringecorrection1552.1OCM预处理[15]文献提出一个OCM(objectcountingmethod)方法，使用通过预分割后连通区域最多的阈值进行最终的分割，优点是其打断的规则是以碳烟图像中微晶的灰度值为依据的，这个规则较为合理，并且能对所有多端点的微晶进行统一处理，最重要的是之后会有重连接与之配合，这使得过打断的微晶也能重新连接回去，从理论上保证了修正的有效性和可靠性。所以160本文借鉴了这种方法作为修正预处理，以待修正的微晶图像的非两端点微晶(二值图)为掩模在双边滤波之后的图像(灰度图)上取灰度值，然后再用多阈值进行分割，统计其对应的微晶数，最后使微晶数最多的阈值作为打断微晶的阈值。图16为微晶修正OCM预处理结果。图16OCM的结果图165Fig.16ResultofOCM-8- 中国科技论文在线http://www.paper.edu.cn2.2微晶打断打断是指将非两端点的微晶依据一定的规则，变成许多两端点的微晶，使其符合微晶的实际理论模型及微晶特征的定义。微晶打断主要针对三端点微晶，因为经过OCM预处理之后其占非两端点的绝大部分，所以针对其进行打断，提高后面微晶特征提取时可统计微晶的170数量，进而达到高准确度的要求。考虑到三端点微晶主要是Y型或T型微晶，所以本文针对其特征进行模糊推理规则的设计。Y型或T型微晶分支的方向表示为以交叉点为起点到另一个端点的射线的方向，并以两个分支的方向的夹角和其补角的较小角为夹角，所以其夹角范围为0~90度，为了确定微晶的长度的范围，需要对微晶的分支进行归一化，对每个Y型或T型微晶除以其微晶总长175度，使其分支长度表示为相对长度，范围为0~1。Y型或T型微晶的两个分支的连接性设定为0~100。当Y型或T型微晶分支角度差较大其连接性整体要小于角度差较小时的情况，因为微晶的本身很大可能是接近于直线的，其曲率的变化很大可能是较小的，同时当角度差相同时，微晶分支的长度越长，其连接性越高，因为微晶的分支越长，其越有可能是微晶，而不是毛180刺或噪声。针对Y型或T型微晶的模糊规则设计如表1所示：表1针对Y型或T型微晶设计的模糊规则表Tab.1AfuzzyruletableforY-typeorT-typefringe角度差(0~90度)相对长度(0~1)相对长度(0~1)连接性(0~100)大长长半连接大长短不连接大短长不连接大短短不连接小长长连接小长短半连接小短长半连接小短短不连接对于输入语言变量的值的隶属度函数都使用sigmf函数，其模糊推理方法使用mamdani，输出变量去模糊方法使用重心法，微晶连接的模糊推理与此相同。图17为微晶打断结果图。185图17微晶打断图Fig.17Resultoffringedisconnect-9- 中国科技论文在线http://www.paper.edu.cn2.3微晶连接微晶连接是指对将小段的微晶依据一定的规则，组成更长的微晶，使其更加合理，减小190图像处理的误差。注意打断和连接并不是互补的两个操作，它们的目的完全不同，所以其并不是可逆。微晶连接主要考虑到打断之后的微晶与打断之后的微晶、打断之后的微晶与原有的两端点微晶的关系及两端点微晶与两端点微晶之间的关系，因为打断主要是针对三端点的微晶，两端点的微晶并不需要打断。重连接主要基于的假设是同轴且相邻端点距离小的微晶是同一个微晶，基于这个假设，并考虑到微晶层间间距的平均距离，即如果两个微晶的相邻195端点的距离大于层间间距的话，说明其很可能是原本就是断开。微晶连接的模糊规则如表2所示，微晶连接处理结果如图18所示。表1针对两端点微晶设计的模糊规则表Tab.2Afuzzyruletablefortwo-pointfringe夹角距离连接性200平行远半连接平行近连接不平行远半连接不平行近不连接205图18微晶连接图Fig.18Resultoffringeconnect2.4微晶修正后处理210修正后处理包括删除小于最小长度的微晶、删除非两端点微晶与删除两端点环状微晶。删除小于最小长度的微晶是因为小于最小长度的微晶被认为是噪声，考虑到C-C键的长度[16]为0.142nm和单芳香环的大小，最小微晶长度一般取0.264nm；删除非两端点微晶是因为所有的微晶的统计都是基于两端的微晶的，即微晶的特征的定义是基于两端点的微晶的；删除两端点环状微晶是在实验中发现的，实际只统计了一条边，因为环状微晶也可能是两端点215微晶，而这种环状两端点微晶对统计没有意义，因为其不符合微晶特征的定义，而且数量极少，可以略去不计。图19为微晶修正后处理结果。-10- 中国科技论文在线http://www.paper.edu.cn图19微晶后处理结果图Fig.19Resultoffringeconnection2203微晶特征提取高分辨率透射电镜碳烟图中的微晶实际是具有一定长度和曲率的碳层结构。碳烟图像处理中常用的微晶结构特征主要是微晶长度、微晶曲率与微晶的层间间隔。微晶长度表示微晶每两个像素点间简单积分的距离；微晶曲率表示微晶长度与微晶两端像素点间的直线距离的比值；层间间隔表示相互平行的两条微晶的垂直距离。由于微晶长度和曲率可以一步直接计225算得到，而微晶层间间距则由于并行相邻的两个微晶并不是绝对平行，延伸其定义使其符合[10]实际应用要求。实验中对于层间间隔的提取对比了划线法和最短距离法。划线法：手动划线很难保证垂直，必须多次划线，操作太繁琐，主观因素较多。最短距离法：需要先选择两条平行的微晶，还需要修正两条相邻且近似平行的微晶，使其较短的微晶包含较长的微晶，但是能避免划线不能保证垂直的问题，减少人为主观影响，相对工作量较少。同时实验发现230划线法误差确实较大，而最短距离法误差较小，故本文使用最短距离法来提取微晶的层间距离。图20所示为微晶长度，图21所示为微晶曲率，图22所示为微晶层间间距。微晶的平均长度为0.811nm141210864200123456fringelength(nm)图20微晶长度的统计直方图Fig.20Statisticalhistogramoffringelength-11- 中国科技论文在线http://www.paper.edu.cn微晶的平均曲率为1.1630252015105011.11.21.31.41.51.61.71.81.92235fringetortuosity(nounit)图21微晶曲率的统计直方图Fig.21Statisticalhistogramoffringetortuosity微晶的平均间隔为0.392nm141210864200.10.150.20.250.30.350.40.450.50.550.6fringeseparation(nm)图22微晶的层间间隔的统计直方图240Fig.22Statisticalhistogramoffringesparation4结论本文提出一个新的碳烟透射电镜图像处理的方法来求取碳烟的微观结构特征。使用限制直方图对比度增强方法增加图像，特别是碳烟核的中心更加突出；双边滤波能够在平滑图像的同时保持微晶的边界不变；在DFT变换之前进行Tophat变换以去掉频率噪声，使DFT245的频带更加清晰可辨；带通频率强调的DFT能够保留更加丰富的微晶的细节时不减小微晶的长度；模糊推理修正能够保证微晶结构特征的可靠性。但是也必须做出某种权衡，保留更多微晶的同时减小相邻微晶之间的粘连。同时微晶的层间间距的求取需要选择相邻微晶对，并对微晶进行了修剪，自动化程度较高。本课题的算法，相对于已有的碳烟微晶特征提取研究，具有以下的特点：250(1)组合Tophat与DFT带通增强滤波，增加了微晶细节的可辨识度，减轻了阈值分割对微晶长度的影响。(2)基于模糊推理微晶修正保证了微晶结构特征的可靠性，特别地，模糊推理易于引入先验知识，增加适合于问题领域的偏好，保证了微晶修正的简单有效。-12- 中国科技论文在线http://www.paper.edu.cn本文实现了碳烟图像微晶特征提取的算法设计，并使用Matlab图像处理工具箱与Matlab255GUI作了软件实现，此外使用标准碳对图像处理部分进行了准确度的验证，在今后的工作中将使用X射线法和拉曼光谱法进行交叉验证，进一步提高算法的可信度。致谢本论文的研究内容源于与华中科技大学能源学院吴辉博士课题组开展的合作研究，文中所涉及碳烟样品的高分辨率透射电镜图片，均由吴辉博士课题组提供，在此表示诚挚谢意。260[参考文献](References)[1]RouzaudJN,ClinardC.Quantitativehigh-resolutiontransmissionelectronmicroscopy:apromisingtoolforcarbonmaterialscharacterization[J].FuelProcessingTechnology,2002,77:229-235[2]NeeftJPA,NijhuisTX,SmakmanE,etal.Kineticsoftheoxidationofdieselsoot[J].Fuel,1997,76(12):2651129-1136.[3]李倩,王仲鹏,孟明,等.柴油车尾气碳烟颗粒催化消除研究进展[J].环境化学,2011,30(1):331-336.[4]MarshPA,VoetA,MullensTJ,etal.Quantitativemicrographyofcarbonblackmicrostructure[J].Carbon,1971,9(6):797IN33801-800IN37805.[5]TuinstraF,KoenigJL.Ramanspectrumofgraphite[J].TheJournalofChemicalPhysics,1970,53(3):2701126-1130.[6]OberlinA.Carbonizationandgraphitization[J].Carbon,1984,22(6):521-541.[7]SharmaA,KyotaniT,TomitaA.ComparisonofstructuralparametersofPFcarbonfromXRDandHRTEMtechniques[J].Carbon,2000,38(14):1977-1984.[8]RouzaudJN,OberlinA.Structure,microtexture,andopticalpropertiesofanthraceneandsaccharose-based275carbons[J].Carbon,1989,27(4):517-529.[9]PalotásÁB,RaineyLC,FeldermannCJ,etal.Sootmorphology:Anapplicationofimageanalysisinhigh‐resolutiontransmissionelectronmicroscopy[J].Microscopyresearchandtechnique,1996,33(3):266-278.[10]YehliuK,VanderWalRL,BoehmanAL.DevelopmentofanHRTEMimageanalysismethodtoquantifycarbonnanostructure[J].CombustionandFlame,2011,158(9):1837-1851.280[11]PréP,HuchetG,JeulinD,etal.Anewapproachtocharacterizethenanostructureofactivatedcarbonsfrommathematicalmorphologyappliedtohighresolutiontransmissionelectronmicroscopyimages[J].Carbon,2013,52:239-258.[12]ZuiderveldK.Contrastlimitedadaptivehistogramequalization[M]//GraphicsgemsIV.AcademicPressProfessional,Inc.1994:474-485.285[13]TomasiC,ManduchiR.Bilateralfilteringforgrayandcolorimages[C]//ComputerVision,1998.SixthInternationalConferenceon.IEEE,1998:839-846.[14]周云燕,杨坤涛,黄鹰.基于最小类内离散度的改进Otsu分割方法的研究[J].华中科技大学学报:自然科学版,2007,35(2):101-103.[15]LamL,LeeSW,SuenCY.Thinningmethodologies-acomprehensivesurvey[J].IEEETransactionson290patternanalysisandmachineintelligence,1992,14(9):869-885.[16]LiM,ZhaoH,QiL,etal.Analysistechniquesoflatticefringeimagesforquantifiedevaluationofpyrocarbonbychemicalvaporinfiltration[J].MicroscopyandMicroanalysis,2014,20(05):1591-1600.-13-'