GBT25459-2010面向制造业信息化的ASP平台测评规范.pdf 18页

'ICS35．240．50J07蝠亘中华人民共和国国家标准GB／T25459—2010面向制造业信息化的ASP平台测评规范SpecificationoftestingASPplatformfornetworkedmanufacturing2010—12—01发布2011—05—01实施宰瞀鳃鬻瓣訾糌瞥星发布中国国家标准化管理委员会促19 标准分享网www.bzfxw.com免费下载GB／T25459—2010目次前言⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯Il范国⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯·⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．12术语、定义和缩略语⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯12．1术语和定义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯12．2缩略语⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯“⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯-23测评内容及测评指标⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯23．1概述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯23．2系统管理测评⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯23．3工作流程测评⋯⋯⋯⋯····⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯··53．4专业服务测评⋯⋯⋯⋯⋯·⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一54评定细则⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯64．1测评关键因素⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯64．2测评结果评定⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯74．3功能指标测评结果评定⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯·⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯“74．4性能指标测评结果评定⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯75测评组织机构⋯⋯⋯⋯···⋯⋯⋯⋯⋯·⋯·⋯⋯⋯⋯⋯·⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯85．1总：述⋯⋯⋯⋯⋯⋯⋯⋯⋯·⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯--⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯85．2组织管理机构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯85．3测评机构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯85．4监督机构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯86测评工作基本步骤⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯96．1概：述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯·⋯⋯--⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯96．2申请测评⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．⋯⋯⋯⋯⋯⋯⋯⋯”96．3审查申请⋯⋯⋯⋯⋯⋯⋯·⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯”96．4测评实施⋯⋯⋯··⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯·⋯⋯⋯⋯⋯⋯96．5测评结果公布⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯·⋯⋯⋯⋯一10附录A(资料性附录)面向制造业信息化的ASP平台测评指标表⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯11参考文献⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．⋯⋯⋯⋯⋯⋯⋯”15 www.bzfxw.com刖置本标准的附录A为资料性附录。本标准由中国机械工业联合会提出。本标准由全国自动化系统与集成标准化技术委员会(sAc／Tc159)归口。本标准起草单位：北京机械工业自动化研究所。本标准主要起草人：黎晓东、王思斯。GB／T25459—2010 www.bzfxw.com标准分享网www.bzfxw.com免费下载面向制造业信息化的ASP平台测评规范GB／T25459—20101范围本标准规定了面向制造业信息化的AsP平台的测评内容及测评指标、评定细则、测评组织机构、测评工作流程、测评申请、受理审查、测评实施、结果公告等方面的要求。其目的为面向制造业信息化的AsP平台的测评工作提供技术指导和技术规范支持，实现对AsP平台的公平、公正、科学、客观的评价。本标准适用于我国面向制造业信息化的AsP平台的测评。2术语、定义和缩略语2．1术语和定义下列术语和定义适用于本标准。2．1．1功能function程序中的一个算法的实现，利用该实现，用户或程序可以完成某一工作任务的全部或部分内容。[GB／T17544—1998中2．1]2．1．2易用性usability在指定条件下使用时，软件产品被理解、学习、使用和吸引用户的能力。注1：功能性、可靠性和效率的某些方面也会影响易用性。注2：用户可能包括操作员、最终用户和受该软件的使用影响或依赖于该软件使用的间接用户。易用性必须针对软件所影响的所有不同的用户环境，这可能包括对使用的准备和结果的评价。[GB／T16260．1—2008中6．3]2．1．3可靠性reIiability在给定时段和给定条件下，功能单元履行所要求功能的能力。[GB／T5271．14—2008中14．01．03]2．{．4可扩展性“tmdability系统或部件能修订以增加它的存储或功能的情况。参见：灵活性，可维护性[GB／T11457—2006中2．594]2．1．5效率efficiemy系统或部件以最小的计算资源消耗实现其预定功能的能力。[GB／T11457—2006中2．535]2．1．6测试用例t∞tc∞e测试者使用的文档化的细则，其规定如何对某项功能或功能组合进行测试。测试用例包括下列内容的详细信息： www.bzfxw.comGB／T25459—2010——测试目标；——要测试的功能；——测试数据；——过程；——系统的预期行为。[GB／T17544—1998中2．6]2．1．7评定verdict相对于测评项，对被测实现的结果给出定性或定量等结论性陈述的行为。2．2缩略语下列缩略语适用于本标准AsP应用服务提供商(ApplicationserviceProvider)sLA服务品质协议(ServiceLevelAgreement)3测评内容及测评指标3．1概述3．1．1测评阶段面向制造业信息化的AsP平台的测评过程分为三个阶段：系统管理测评、工作流程测评和专业服务测评。3．1．2系统管理测评系统管理测评的范围是AsP平台为保证平台本身正常运行而具备的系统管理的功能。3．1．3工作流程测评工作流程测评对用户使用AsP平台的过程进行测评，以检验平台使用过程的合理性和科学性。3．1．4专业服务测评专业服务测评以检验AsP平台为客户提供服务的能力和质量为目的，对专业服务的性能进行测评。3．2系统管理测评3．2．1系统操作a)数据存储与输出管理；b)软件分发管理；c)作业和工作量管理；d)业务连贯性管理。3．2．2系统监控和管理a)网络系统的监控和管理；b)应用程序的监控和管理；c)web的监控和管理：——Web监控和管理提供的用户使用情况数据至少包括以下内容；——总体响应时间；——客户决策与浏览时间；——网络交通；——总服务器时间；——单独应用和事务响应时间；——页面查看频率；2 www.bzfxw.com标准分享网www.bzfxw.com免费下载GB／T25459—2010——常用或最流行web页的路径；——查看一个单独页面所需时间。d)性能的监控和管理。性能的监控和管理要向客户提供的报告客户系统结构中各个层次的性能和有效性报告，报告中的监控和管理对象至少包括以下内容：——网络部分：带宽使用的分布模式、客户或应用系统的带宽利用率、信息包丢失率、错误率、延迟；——服务器部分：处理器和内存利用情况、磁盘系统的性能、操作系统的性能(进程、服务、任务)；——应用系统部分：应用响应(包括平均响应时间和标准偏离量，由此预测用户期望值)、应用程序自修复事件、日志以外的应用处理的原因；——web应用部分：响应时间、网络时间、浏览时间和服务时间；——防火墙部分：安全性事件和例外事件、安全日志及状态。3．2．3客户支持a)更改与请求管理：系统能够在单用户环境和多用户环境中按用户要求进行更改操作环境的处理活动；b)问题管理：两个基本功能是呼叫跟踪和问题跟踪。呼叫跟踪解决客户(用户)通过电话、web等方式报告的服务协议范围内应当解决的问题。问题跟踪包括对被管理的设备、服务、应用系统和客户的问题统计，以及相关性能检测的收集报告。3．2．4服务管理a)计量与会计：从客户的记账、性能报告检测客户对AsP的使用情况，并从客户资产和客户为未来活动与升级所订的计划中收集有用数据。计量与会计过程应当获取以下六种数据用于计算：1)应用系统事件：一一专用应用系统的用户，这类应用系统按客户或时间划分；一一共享应用系统的客户和最终用户；——应用、客户机和服务器、时间段等事务计数；——事务的货币价值和一个记账周期中的量；一一产品目录大小等。2)服务器使用日志：——cPu负荷和时间分配；一进程、线程的cPu时间使用率等。3)网络使用情况：——带宽使用率(通信量)；传输单元大小(如文件和事务大小)；——时间使用率(时钟和周期，有无高峰时间)；——时间和空间上的通信量分布(如路由器和中继线)；web站点访问统计(点击率、页面请求、点击和请求的分布)等。4)存储统计：——HTML页面、xML脚本、JAVA应用插件和服务器插件、用户注册、交付的内容、软件发布文件及数据库等的磁盘使用率；一备份和恢复等。5)信息统计：——E．mail账号数；3 www.bzfxw.comGB／T25459—2010——邮箱大小；——信息的收发；——信息的大小；一一主动提交的E_mail空间等。6)安全性事件：——目录人口；——已发证明；——已有密码；一一防火墙、入侵监测系统的使用统计；——杀毒软件的运行；——按条目或字节统计的日志文件大小；——日志文件分析软件的运行；——每一时间周期安全报告的数目等。b)配置管理：监测和改变资源状态及其相互关系，功能如下：——识别系统和网络资源(包括应用程序)；——定义和命名这些资源；——检测和控制这些资源；——初始化、操作、重新配置、关闭和删除资源；——收集有关资源操作的数据(如性能、有效性)。c)记账与报表：为客户准备报表和提交账单。记账应用系统支持三种基本活动：——记账数据收集：AsP将数据转化为记账数据，然后将数据打包供记账服务使用；——记账生成：AsP使用记账数据，以一定的规则和预先制定的费用形式为每一客户产生客户账单和发票；——账单提交：AsP产生账单，采用各类账单派发方法提交给客户。AsP平台应当支持的与记账有关的其他功能有：——客户化账单；——客户账号管理；——通知能力：如向客户发送E-mail、传呼、声音邮件和传真，用于账单的查验和递送；——支付界面：使用户能够通过信用卡、支票等进行费用支付。3．2．5安全性管理a)安全性结构：——系统安全：控制计算机的软、硬件安全，确保它们被有正确权限并通过鉴别的用户访问和使用；——物理结构设施安全：处理对AsP数据中心及其他物理设施的访问；——网络安全：包括所有在不同网络(即局域网和广域网)内流动的数据的安全。b)安全性措施：——访问控制：定义使用者访问权限；——鉴定：即身份验证，说明用户或访问者的身份及其对应的权限；——数据完整性：现存的数据和原来的数据相比较是否完整；——机密性：存储、处理及在网络通信时数据的保密性；——非拒绝性：确保充分证据的有效性；——有效性：防止对网络和系统组件及资源的破坏、乱用、滥用、误用；——责任性：各个部门对日志记录系统记录的事件均有对应的责任措施。4 www.bzfxw.com标准分享网www.bzfxw.com免费下载3．3工作流程测评3．3．1概述用户使用AsP平台的过程应当遵循如图1所示的流程。荆||耋m服务I步骤——服务Ⅱ步骤服务M步骤服务I步骤——服务Ⅱ步骤服务M步骤GB／T25459—2010图1用户AsP平台的使用过程3．3．2用户登录用户登录时，系统应当根据用户输入的用户名和口令确定用户的身份、权限及其订购的服务。3．3．3确定服务确定服务包括以下步骤：——服务列举：系统查询用户订购记录，列举并显示用户可以使用的服务，供用户选择；——请求服务：用户从列举的服务中选择要使用的服务，并向系统提出使用请求；——审查：系统审查用户提出的服务使用请求，确定可以提供的服务的种类、范围和功能；——同意服务：通知用户可以提供的服务及相关信息。3．3．4服务运行服务运行包括以下步骤：——启动服务：根据审查同意提供的服务种类、范围和功能启动服务；——使用服务功能：用户使用系统已经启动的各项服务；——请求退出服务：用户向系统提出退出服务的请求；——保存相关数据：系统保存用户使用过程的各类数据，包括用户运行应用服务的结果和记录用户使用情况的数据；——退出服务：结束用户的全部服务，完成系统相关用户服务运行日志。3．4专业服务测评3．4．1可靠性——能屏蔽用户操作错误；——运行错误不会导致系统异常退出；——操作权限控制安全可靠；——具备数据备份及数据恢复能力；——应用能进行输入有效性检查；——无损坏数据软件的现象；5 www.bzfxw.comGB／T25459—2010——提供运行日志管理；——与其他软件的兼容性(运行时对系统中其他程序不产生破坏性的影响)；——系统故障恢复(网络中断、断电后自动恢复)；——应用运行稳定。3．4．2易用性——菜单、工具栏随所进行的操作变化；——具有联机帮助功能；——对用户操作的实时引导；——界面风格简洁一致，布局合理；——服务具有可配置能力(例如显示界面、显示格式、报表格式等可以调整)。3．4．3集成性——服务之间能实现数据共享；——客户之间和用户之间能实现数据共享；——服务流程之间实现集成。3．4．4服务粒度系统提供服务的粒度适当，既要方便用户选择使用，又要便于进行使用计量。3．4．5sLA的满足程度参照sLA检验所提供的服务是否满足sLA中的各项要求。从服务的有效性、响应性、完整性、安全性4个方面来确定服务质量考核指标。——有效性：服务有效即服务可用。对于由应用系统构成的服务，服务的可用性即为系统的可用性。对于由人工形式提供的服务，其可用性可转化为在服务提供时间内的用户请求服务的成功率。——响应性：客户能否在预期时间内享受到服务带来的价值，重点是服务的效率问题。——完整性：服务是一个或者一系列的动作的组合，需要能完成与服务有关的所有动作才能视为有能力提供完整的服务。——安全性：指服务交付的过程中客户资产的安全，强调客户在享受服务的同时尽量避免承担风险。4评定细则4．1测评关键因素4．1．1测评ASP平台的关键因素下列三项为影响AsP平台测评结果的关键因素：——被测平台不具备本标准规定的基本功能项；——被测平台在基本功能的测评过程中发生了一项或多项可重复出现的严重问题；——被测平台的性能指标评定值不能达到最低限度。4．1．2基本功能项基本功能项是指本标准所规定的功能测评指标中带有★号的二级指标，参见附录A表A．1。测评基本功能指标是否通过，以其下属的三级指标为依据。三级指标中带有*号的为必备指标，只有三级指标中的必备指标全部具备并且可以正确实现，则该项基本功能指标为“通过”，否则为“不通过”。4．1．3重复出现的严重问题重复出现的严重问题是指在测试过程中出现的、且在相同条件下可再现的下列问题：——被测基本功能项不能正确实现；6 www.bzfxw.com标准分享网www.bzfxw.com免费下载GB／T25459—2010——被测数据处理错误；——主业务流程出现断点；——应用错误导致死机；——应用错误导致数据丢失；——应用错误导致系统无法运行；——应用操作响应时间过长，在1min以上；——应用存在严重的安全漏洞。4．2测评结果评定AsP平台测评的最终结果只能评定为下列两种结论中的一种：——通过；——不通过。有下列情况之一者，评定为“不通过”：——被测平台缺少规范规定的基本功能项；——在基本功能的测评过程中，出现了一项或多项可重复出现的严重问题；——一项或多项性能指标评定值不能达到最低限度。未出现上述情况的，评定为“通过”。4．3功能指标测评结果评定4．3．1系统管理和工作流程的测评方式系统管理和工作流程的测评采用功能指标测评方式。4．3．2基本功能指标测评结果评定各项基本功能测评指标的结果只能评定为下列两种结论中的一种：——通过；——不通过。在对某项基本功能测评指标进行测试的过程中，有下列情况之一者，判定该项指标为“不通过”：——被测平台缺少该项指标对应的功能；——出现了一项或多项可重复出现的严重问题。未出现上述情况的，该项指标判定为“通过”。4．3．3扩展功能指标测评结果评定各项扩展功能测评指标的结果只能评定为下列三种结论中的一种：——“无此功能”；——“通过”；——“不通过”。在对某项扩展功能测评指标进行测试的过程中，如被测平台缺少该项指标对应的功能，则判定该项指标为“无此功能”；如被测平台具有该项指标对应的功能且未出现可重复出现的严重问题，则判定该项指标为“通过”；如被测平台具有该项指标对应的功能，但出现了一项或多项可重复出现的严重问题，则判定该项指标为“不通过”。4．4性能指标测评结果评定4．4．1概述专业服务的测评采用性能指标测评方式。各级性能指标的测评采用评分方式，各级性能指标测评结果为10分制分值。测评人员应对每一项无下级指标的性能指标进行测试，并依据测试完成情况与预期效果之间的差异，参见附录A表A．3中的评分细则的规定对该项性能指标进行评分。上级指标的得分按如下公式计算得出：7 www.bzfxw.comGB／T25459—2010上级指标的得分一∑(下级指标得分×下级指标权重)4．4．2权重分配一级指标的权重分配参见附录A表A．2，二级指标的权重分配参见附录A表A．3。4．4．3评分方法4．4．3．1单项指标的评分方法无下级指标的单项指标应在本标准第一部分规定的线性评分方法、减分式评分方法以及等级式评分方法中选用一种适合的方法进行评分，选用的具体规定参见附录A表A．3。有下级指标的单项指标不进行直接评分，由下级指标汇总得出。4．4．3．2评分汇总方法上级指标的得分按如下公式计算得出：上级指标的得分一∑(下级指标得分×下级指标权重)性能测评的总评分按如下公式计算得出：性能测评的总评分一∑(一级指标得分×一级指标权重)4．4．4评分细则性能测评的评分细则参见附录A表A．3所示。5测评组织机构5．1总述为顺利实施平台测评，保证测评过程的公平、公正、科学、高效，应设立平台测评的组织管理机构、测评机构和监督机构。5．2组织管理机构组织管理机构的职责：——发布开展平台测评的通知、通告；——负责受理平台测评的申请，并对送测单位提交的申请材料进行受理审查；——组织相关技术领域的专家制定平台测评的统一测试用例(或测试题)；——审查、选定合适的测试用例(或测试题)；——发布测评结果。组织管理机构可以是国家政府有关部门或得到其授权的组织和机构；也可以是行业协会或相关技术委员会等。5．3测评机构测评机构的职责：——负责实施平台测评；——根据有关标准规范规定和测试用例(或测试题)，做好各项测评准备工作；——保持与测试用例一致的测试，并填写测试记录；——整理、分析测试过程中出现的问题，编写测试问题报告；——做出测评结果的判定，编写测评报告；——及时向平台测评组织管理机构提供信息反馈。测评机构应该是获得国家认证、认可的软件测评机构或专业测试实验室。5．4监督机构监督机构的职责：——对平台测评过程的各个环节进行监督和检查；——受理对平台测评过程中发生的问题和测评结果的投诉和举报，并调查核实，提出处理意见；——对平台测评的管理工作，提出合理化意见和建议。8 www.bzfxw.com标准分享网www.bzfxw.com免费下载GB／T25459—2010监督机构可以是国家政府相关部门或得到其授权委托的机构组织，或为开展测评临时组建的测评监督委员会。——对无署名、无联系方式或没有具体事实的投诉，监督委员会可不予处理。——对办结的投诉和举报，监督委员会要将处理结果告知投诉者或举报者，并将有关材料归档。6测评工作基本步骤6．1概述测评工作有四个基本步骤为：申请测评一审查申请一测评实施一测评结果公告。全部测评工作都在监督机构的监督下执行。6．2申请测评送测单位应实事求是地认真填写申请表，并提交相关材料。如：——《面向制造业信息化的AsP平台测评申请表》；——必要时提供足够的测评数据及相应的数据文档；——测评组织管理机构规定的有关平台的登记证书和送测单位身份证明。6．3审查申请有以下情况之一者，将不能通过受理审查：——申请手续不完备，申请书填写不符合规定；——申请测评的平台不具备规定的条件；——送测单位不具备规定的资格。通过资格审查的软件移交给第三方平台测评机构进行平台测评。6．4测评实施6．4．1测评准备平台测评机构根据本标准规定的测评内容，选择合格的具有相关技术领域知识的测评技术人员组成软件测评组。需针对每一个被测平台成立测评组，每个测评组不得少于二人。测评组织管理机构组织相关领域的技术专家按照本标准规定的测评内容，设计编制能够覆盖全部测评内容的测试用例(或测试题)。测试用例应包括下列信息：测试目标；测试环境和条件(包括：配置细节和准备工作)；测试数据；过程；系统的预期行为。测试用例应系统地构造，应覆盖本标准第4章、第5章中规定的功能指标和性能指标。——被测方可提供反映自身特点、能覆盖本标准规定的各项基本功能和基础性能的测试用例，供平台测评机构参考。——测评人员除使用给定的统一测试用例对平台进行测试外，也可适当增加其他测试用例。6．4．2测试运行平台测评组依据测试用例对平台进行功能和性能的测试。平台测评组依据本标准第4章、第5章为基础构造的统一测试用例和其他参考测试用例对被测平台进行测试。对测试过程中出现的问题，应进行重复性核定测评。平台测评组应填写测试记录。测试记录应包括：——测试计划及包含测试用例的测试说明与解释；——与测试用例相关的所有结果，包括测试期间出现的所有偏离、失败情况；——测试中涉及的人员身份。9 GB／T25459—20106．4．3问题分析平台测评组根据测试过程中出现的问题记录，确定问题性质(包括：严重问题、一般性问题、建议性问题)，并对问题原因进行初步分析，编制被测平台的测试问题报告。平台评测机构应对被测平台测试问题报告进行评审。如涉及严重问题，须将被测平台测试问题报告提交被测方确认。问题报告应包括：——问题统计；——问题概述；——问题详细描述；——问题确认、审核人员签名及日期。6．4．4测评报告平台测评机构以测试记录和问题报告为依据，编写测评报告。测评报告的结构：——平台标识：测评报告的标识(测评实验室、平台标识、测评报告日期)和页面总数应出现在测评报告的每页上；——测试环境(硬件、软件及其配置)；——功能和性能测评结果：测评报告应包括与测评项相关的测评结果有效性的说明；——测评结束日期，未经批准，不得复印测评报告及其有关说明。6．5测评结果公布组织管理机构依据平台测评机构提交的测评报告，本着实事求是的原则，起草测评结果公告，并向社会公开发布。 标准分享网www.bzfxw.com免费下载GB／T25459—2010附录A(资料性附录)面向制造业信息化的AsP平台测评指标表面向制造业信息化的AsP平台测评指标表包括表A．1系统管理和工作功能测评、表A．2一级指标权重分配、表A．3专业服务性能测评。表A．1中，标有“★”的二级指标为基本功能指标，没有标“★”的二级指标为扩展功能指标；在三级指标中，标有“*”的表示该三级指标是该二级指标中的关键性指标，此指标的测试“通过”或“不通过”将影响其上级指标(即第二级指标)的“通过”与“不通过”。表A．1系统管理和工作功能测评一级二级指标三级指标正确性备注指标(仅测试通过与否)数据备份与恢复、数据和软件建档*1．1数据存储与输出管理★将输出数据传往多种目的地*安装和卸载软件*1系1_2软件分发管理★软件升级*统识别和解决软件配置冲突操管理系统作业*作1．3作业和工作量管理★统计系统工作量*正常操作管理1．4业务连贯性管理灾难避免管理*2．1网络系统的监控和管理★网络系统的监控和管理*2．2应用程序的监控和管理★应用程序的监控和管理总体响应时间客户决策与浏览时间2网络交通系总服务器时间统2．3web的监控和管理★单独应用和事务响应时间监页面查看频率控和常用或最流行web页的路径管查看一个单独页面所需时间理网络部分*服务器部分*2．4性能的监控和管理应用系统部分*web应用部分防火墙部分 GB／T25459—2010表A．1(续)一级二级指标三级指标正确性备注指标(仅测试通过与否)33．1更改与请求管理★更改与请求管理客户3．2问题管理★问题管理支持3．3客户培训客户培训应用系统事件*服务器使用日志*网络使用情况*4．1计量与会计★存储统计*信息统计*安全性事件识别系统和网络资源*定义和命名资源*4．2配置管理★检测和控制资源*4初始化、操作、重新配置、关闭和删除资源*服务收集有关资源操作的数据*管理记账数据收集*记账生成*账单提交*4．3记账与报表★客户化账单客户账号管理通知能力支付界面安全性结构·4．4安全性管理★安全性措施·5．1基本步骤★步骤顺序和内容*5．2用户登录★确定身份、权限和服务订购*服务列举请求服务*5．3确定服务★5服务审查*工作同意服务*流程启动服务*使用服务功能*5．4服务运行★请求退出服务*保存相关数据*退出服务12 标准分享网www.bzfxw.com免费下载表A．2一级指标权重分配GB／T25459—2010一级指标满分权重浏评总分可靠性10分O．4易用性10分O．3集成性10分O．1lO分服务粒度10分O．1sLA的满足程度10分0．1表A．3专业服务性能测评一级二级预期评分指标效果细则评分若出现死机、数据处理错误、主业务流程断点、软件错误导致数据丢失、软件错误导致系统无法运行，则可靠性为O分屏蔽用户操作错误可以屏蔽用户操作错误，不会每出现一次未屏蔽用初始分10分，满分(权重O．15)引起系统异常退出户操作错误，扣1分10分运行操作错误不会导致系统异常退出(权重应该提示错误原因每出现一次异常退出，初始分10分，满分扣2分10分O．2)操作权限控制安全可具有创建、删除、修改用户信只测是否通过，通过靠(权重o．1)息及口令管理的功能10分，不通过0分具有数据备份和恢复系统应提供数据备份和恢复只测是否通过，通过手段(权重0．1)手段10分，不通过。分可靠性(满分能进行输入有效性检能排除不符合要求的输人数每出一次错误，扣1分初始分10分，满分查(权重O．1)据或给出提示10分10分)无损坏数据的现象不会引起软件、系统的损毁出现一次损坏现象，可初始分10分，满分(权重O．1)靠性为零分10分提供运行日志管理(权是否具有运行日志管理功能，只测是否通过，通过对日志可以迸行查看分析、备重0．1)10分，不通过。分份存档与其他软件的兼容性安装运行后对系统中其他程每出一次兼容性错误，初始分10分，满分(权重O．05)序不产生破环性的影响扣2分lo分系统故障恢复(权重网络中断、断电后自动恢复每出一次错误，扣3分初始分10分，满分0．05)10分死机一次可靠性为初始分10分，满分稳定性(权重o．05)是否出现死机、异常退出现象0分10分13 GB／T25459—2010表A．3(续)一级二级预期评分指标效果细则菜单，工具栏随所进行每出一次未变灰或隐初始分10分，满分的操作变化(权重无效的菜单项应变灰或隐藏藏现象，扣o．5分，扣10分O．15)完为止应具有联机帮助功能功能所对应的操作都有相应对“功能测试”所列的操作，如无联机帮助扣初始分10分，满分(权重0．3)的联机帮助10分除o．5分，扣完为止对用户操作的实时对用户的每一步关键性操作每出现一次未提示现初始分10分，满分易用性引导(满分(权重0．05)都有相应的提示象，扣o．5分10分10分)界面风格应该简洁一术语是否统一}每出现一次不一致的初始分10分，满分致，布局合理对话框颜色等是否一致；情况扣o．5分lO分(权重D．2)按钮大小、颜色是否一致服务具有可配置能力例如显示界面、显示格式、报具有报表调整功能5分，格式调整3分，显(权重O．15)表格式等可以调整示界面调整2分服务易更改(权重是否支持客户对订购服务的不能更改O分，能更改O．15)更改10分服务服务可分解(权重O．5)用户可以将平台提供的服务能够10分，不能够粒度分解，订购其中的部分服务0分(满分用户可以将分解后的服务组能够10分，不能够10分)服务可组合(权重O．5)合使用。分SLA的满足程度sLA的满足程度参照AsP与客户签定的sLA完全满足10分，否则(满分检验其执行程度和状况适当减分10分)注：表中给出权重均为针对上级指标的权重。14 标准分享网www.bzfxw.com免费下载[1]GB／T11457—2006[2]GB／T16260一2006[3]GB／T17544—1998参考文献信息技术软件工程术语软件工程产品质量(IsO／IEc9126：2001，IDT)GB／T25459—2010信息技术软件包质量要求和测试(idtIsO／IEc12119：1994)[4]GB／T5271_14—2008信息技术词汇第14部分：可靠性、可维护性与可用性(IsO／IEC2382—14：1997，IDT)'