比亚迪IT信息化建设网络结构设计方案.doc 83页

'比亚迪数据中心建设方案佳众联科技比亚迪IT信息化建设网络结构设计方案比亚迪汽车公司IT信息化建设网络结构设计方案2015-05Page83of83 比亚迪数据中心建设方案佳众联科技Page83of83 比亚迪数据中心建设方案佳众联科技第1章总述1.1比亚迪公司数据中心网络建设需求1.1.1传统架构存在的问题比亚迪公司现有数据中心网络采用传统以太网技术构建，随着各类业务应用对IT需求的深入发展，业务部门对资源的需求正以几何级数增长，传统的IT基础架构方式给管理员和未来业务的扩展带来巨大挑战。具体而言存在如下问题：l维护管理难：在传统构架的网络中进行业务扩容、迁移或增加新的服务功能越来越困难，每一次变更都将牵涉相互关联的、不同时期按不同初衷建设的多种物理设施，涉及多个不同领域、不同服务方向，工作繁琐、维护困难，而且容易出现漏洞和差错。比如数据中心新增加一个业务类型，需要调整新的应用访问控制需求，此时管理员不仅要了解新业务的逻辑访问策略，还要精通物理的防火墙实体的部署、连接、安装，要考虑是增加新的防火墙端口、还是需要添置新的防火墙设备，要考虑如何以及何处接入，有没有相应的接口，如何跳线，以及随之而来的VLAN、路由等等，如果网络中还有诸如地址转换、7层交换等等服务与之相关联，那将是非常繁杂的任务。当这样的IT资源需求在短期内累积，将极易在使得系统维护的质量和稳定性下降，同时反过来减慢新业务的部署，进而阻碍公司业务的推进和发展。l资源利用率低：传统架构方式对底层资源的投入与在上层业务所收到的效果很难得到同比发展，最普遍的现象就是忙的设备不堪重负，闲的设备资源储备过多，二者相互之间又无法借用和共用。这是由于对底层网络建设是以功能单元为中心进行建设的，并不考虑上层业务对底层资源调用的优化，这使得对网络的投入往往无法取得同样的业务应用效果的改善，反而浪费了较多的资源和维护成本。l服务策略不一致：传统架构最严重的问题是这种以孤立的设备功能为中心的设计思路无法真正从整个系统角度制订统一的服务策略，比如安全策略、高可用性策略、业务优化策略等等，造成跨平台策略的不一致性，从而难以将所投入的产品能力形成合力为上层业务提供强大的服务支撑。因此，按传统底层基础设施所提供的服务能力已无法适应当前业务急剧扩展所需的资源要求，本次数据中心建设必须从根本上改变传统思路，遵照一种崭新的体系结构思路来构造新的数据中心IT基础架构。Page83of83 比亚迪数据中心建设方案佳众联科技1.1.1数据中心目标架构设计面向服务的设计思想已经成为Web2.0下解决来自业务变更、业务急剧发展所带来的资源和成本压力的最佳途径。从业务层面上主流的IT厂商如IBM、BEA等就提出了摒弃传统的“面向组件（Component）”的开发方式，而转向“面向服务”的开发方式，即应用软件应当看起来是由相互独立、松耦合的服务构成，而不是对接口要求严格、变更复杂、复用性差的紧耦合组件构成，这样可以以最小的变动、最佳的需求沟通方式来适应不断变化的业务需求增长。鉴于此，比亚迪公司数据中心业务应用正在朝“面向服务的架构ServiceOrientedArchitecture（SOA）”转型。与业务的SOA相适应，比亚迪公司提出支撑业务运行的底层基础设施也应当向“面向服务”的设计思想转变，构造“面向服务的数据中心”（ServiceOrientedDataCenter，SODC）。传统组网观念是根据功能需求的变化实现对应的硬件功能盒子堆砌而构建企业网络的，这非常类似于传统软件开发的组件堆砌，被已经证明为是一种较低效率的资源调用方式，而如果能够将整个网络的构建看成是由封装完好、相互耦合松散、但能够被标准化和统一调度的“服务”组成，那么业务层面的变更、物理资源的复用都将是轻而易举的事情。SODC就是要求当SOA架构下业务的变更，导致软件部分的服务模块的组合变化时，松耦合的网络服务也能根据应用的变化自动实现重组以适配业务变更所带来的资源要求的变化，而尽可能少的减少复杂硬件的相关性，从运行维护、资源复用效率和策略一致性上彻底解决传统设计带来的顽疾。具体而言SODC应形成这样的资源调用方式：底层资源对于上层应用就象由服务构成的“资源池”，需要什么服务就自动的会由网络调用相关物理资源来实现，管理员和业务用户不需要或几乎可以看不见物理设备的相互架构关系以及具体存在方式。SODC的框架原型应如下所示：Page83of83 比亚迪数据中心建设方案佳众联科技在图中，隔在物理架构和用户之间的“交互服务层”实现了向上提供服务、向下屏蔽复杂的物理结构的作用，使得网络使用者看到的网络不是由复杂的基础物理功能实体构成的，而是一个个智能服务——安全服务、移动服务、计算服务、存储服务……等等，至于这些服务是由哪些实际存在的物理资源所提供，管理员和上层业务都无需关心，交互服务层解决了一切资源的调度和高效复用问题。SODC和SOA构成的数据中心IT架构必将是整个数据中心未来发展的趋势，虽然实现真正理想的SODC和SOA融合的架构将是一个长期的历程，但在向该融合框架迈进的每一步实际上都将会形成对网络灵活性、网络维护、资源利用效率、投资效益等等方面的巨大改善。因此比亚迪公司本次数据中心的网络建设，要求尽可能的遵循如上所述的新一代面向服务的数据中心设计框架。1.1数据中心设计目标在基于SODC的设计框架下，比亚迪公司新一代数据中心应实现如下设计目标：l简化管理：使上层业务的变更作用于物理设施的复杂度降低，能够最低限度的减少了物理资源的直接调度，使维护管理的难度和成本大大降低。l高效复用：使得物理资源可以按需调度，物理资源得以最大限度的重用，减少建设成本，提高使用效率。即能够实现总硬件资源占用量降低了，而每个业务得到的服务反而更有充分的资源保证了。Page83of83 比亚迪数据中心建设方案佳众联科技l策略一致：降低具体设备个体的策略复杂性，最大程度的在设备层面以上建立统一、抽象的服务，每一个被充分抽象的服务都按找上层调用的目标进行统一的规范和策略化，这样整个IT将可以达到理想的服务规则和策略的一致性。1.1数据中心技术需求SODC架构是一种资源调度的全新方式，资源被调用方式是面向服务而非象以前一样面向复杂的物理底层设施进行设计的，而其中交互服务层是基于服务调用的关键环节。交互服务层的形成是由网络智能化进一步发展而实现的，它是底层的物理网络通过其内在的智能服务功能，使得其上的业务层面看不到底层复杂的结构，不用关心资源的物理调度，从而最大化的实现资源的共享和复用。要形成SODC要求的交互服务层，必须对网络提出以下要求：1.1.1整合能力SODC要求将数据中心所需的各种资源实现基于网络的整合，这是后续上层业务能看到底层网络提供各类SODC服务的基础。整合的概念不是简单的功能增多，虽然整合化的一个体现是很多独立设备的功能被以特殊硬件的方式整合到网络设备中，但其真正的核心思想是将资源尽可能集中化以便于跨平台的调用，而物理存在方式则可自由的根据需要而定。数据中心网络所必须提供的资源包括：l智能业务网络所必须的智能功能，比如服务质量保证、安全访问控制、设备智能管理等等；l数据中心的三大资源网络：高性能计算网络；存储交换网络；数据应用网络。这两类资源的整合将是检验新一代数据中心网络SODC能力的重要标准。1.1.2虚拟化能力虚拟化其实就是把已整合的资源以一种与物理位置、物理存在、物理状态等无关的方式进行调用，是从物理资源到服务形态的质变过程。虚拟化是实现物理资源复用、降低管理维护复杂度、提高设备利用率的关键，同时也是为未来自动实现资源协调和配置打下基础。新一代数据中心网络要求能够提供多种方式的虚拟化能力，不仅仅是传统的网络虚拟化（比如VLAN、VPN等），还必须做到：Page83of83 比亚迪数据中心建设方案佳众联科技l交换虚拟化l智能服务虚拟化l服务器虚拟化1.1.1自动化能力自动化是SODC架构中上层自动优化的实现服务调用必须条件。在高度整合化和虚拟化的基础上，服务的部署完全不需要物理上的动作，资源在虚拟化平台上可以与物理设施无关的进行分配和整合，这样我们只需要将一定的业务策略输入给智能网络的策略服务器，一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和调配实现。这部分需要做到两方面的自动化：l网络管理的自动化l业务部署的自动化1.1.2绿色数据中心要求当前的能源日趋紧张，能源的价格也飞扬直上；绿地（GreenField）是我们每个人都关心的议题。如何最大限度的利用能源、降低功耗，以最有效率方式实现高性能、高稳定性的服务是新一代的数据中心必须考虑的问题。Page83of83 比亚迪数据中心建设方案佳众联科技第1章比亚迪网络系统设计与实现1.1比亚迪网络系统概述现状如下图所示，分析过后不难发现，网络系统分散的比较开，每个业务系统都有自己独立的区域，几乎可以成为每个业务系统都有自己独立的环境，这种方式在系统维护上造成了很大的成本浪费和人工浪费。按照第二章程描述的一些网络系统架构设计的理念来看，可以先将业务系统做一次大整合，将所有系统都部署在同一个区域内，此区域独立出来专门提供业务服务的接入，再以后的业务发展规划上考虑，以后新业务也可以部署在本区域内。网络的外联也是比较多的，和服务器一样的情况是分散的比较开，也可以考虑将需要外联的业务及链路整合到一起，独立出来一个区域，将其专门的接入外联链路业务，在接入外联业务后经过一道或多道防火墙后才能进去其他区域访问服务器或终端。经过对网络系统拓扑分析，首先推荐的网络优化方案是将现有网络系统上的业务整合，然后分区，每个区域都有自己不同的功能，每个区域负责自己的功能，在管理及维护系统时，判断问题故障有一个直观的判断及故障目标锁定的好处。n数据集中的需求Page83of83 比亚迪数据中心建设方案佳众联科技满足全行数据集中的需要，网络骨干需要具有高速交换效率、高稳定性、高可靠性和可伸缩性，适应拓扑结构的变化。n业务隔离的需求根据业务特点和重要级别，不同业务之间要求相互安全隔离，可以为不同的业务或应用系统分配不同的IP网段，并在各网段之间实现业务的隔离。如业务系统可划分业务网段、办公自动化网段、外接业务网段、语音网段、视频网段等，明确各类业务的优先级，从而在逻辑上将各类业务分开，并保证其可靠传输。n网络分区的需求为简化网络中各部分的相关性，便于网络的实施及运维管理，在网络的构建中，通过定义不同的功能模块，将整体网络分为多个不同的功能区域，通过清晰定义不同功能区域的应用，来实现整体网络结构的可靠性、可扩展性、高可用性等。n可管理性的需求网络的安全稳定运行离不开有效的管理，在设计时要求充分考虑网络的可管理性，要求能实现对包含网络设备、应用程序、服务器、数据库、存储、SAN交换机等所有设备的管理,。采用两级网管模式：集中监控、分权管理。即在数据中心建立网管中心，统一调度网络资源，各责任人管理所属机构网络，形成覆盖全行的分布式网络管理系统。1.1改造后设计网络系统概述根据现有网络系统现有业务，可以将网络系统分布成为一下几个区域：Ø互联网/VPN接入区负责外联分支结构接入、vpn拨入、互联网访问，以现有网络系统Ø中心业务服务器区一线生产业务服务器合并到一个区域接入、VMs和小机接入工作，如果业务不同分工的访问需求可以使用vlan技术将部分不同访问级别的业务隔离，配合acl的控制来进行业务级别隔离。Ø存储区提供系统服务器的存储工作，负责数据灾备工作。如果部署服务器虚拟化或桌面虚拟化本区域是必不可少的一个区域。Page83of83 比亚迪数据中心建设方案佳众联科技Ø无线控制区（推荐）负责厂区、办公楼，等等地区的AP接入控制工作，统一的管理AP工作Ø网络管理区（推荐）负责数据中心网络管理工作Ø厂区接入区厂区和办公楼的终端、手持扫描器、手机等等终端的接入工作不同的区域根据业务的不同都有不同的访问需求，将各个区域互联起来，最方便管理及高可靠性考虑，使用防火墙是最为妥当的设备。如今业界称之为下一代防火墙的性能及处理能力以及是上一代防火墙的好几十倍，在网络转发，会话联立，会话半开，会话全开等等性能上也提升了好多。所以核心位置部署两台核心防火墙。在现有网络系统中是有很多防火墙接入到了25M的电信互联网线路上，当经过分析发现其实都是有同一根电信的链路分支出来来的不同IP地址来提供服务，其实是可以将此部分整合成为2个防火墙A/S结构，来提供互联网访问/发布服务。整合后通过技术策略保持原有的安全服务可以保持原样不变。整合所有部署的服务器都归纳为服务区去，或许此部分是工作量最大的一个动作，Page83of83 比亚迪数据中心建设方案佳众联科技但是规划的执行起来也没有那么复杂，通过vlan及ACL、route-map等策略可以保证到原有服务器享有的安全及被访问策略。在服务区如果考虑高可靠性的时候，建议采购新服务器核心交换机，对于服务器现对出一种DCE（无丢包）交换机，可以对服务器连接交换机可靠性。根据以上新一代数据中心网络的技术要求，必须对传统数据中心所使用的常规以太网技术进行革新，数据中心级以太网（DataCenterEthernet，简称DCE）技术由此诞生。DCE之前也被一些厂商称为汇聚型增强以太网技术（ConvergedEnhancedEthernet，简称CEE），是兼容传统以太网协议并按新一代数据中心的传输要求，对其进行全面革新的一系列标准和技术的总称。因此，为达到比亚迪公司的新一代数据中心的建设目标，必须摒弃传统以太网技术，而采用新一代的DCE（CEE）技术进行组网。Page83of83 比亚迪数据中心建设方案佳众联科技第1章比亚迪网络系统技术实现方式分布汇聚层和接入层之间使用交换端口，实现二层交换。如前所述，当前的主流虚拟机软件，如VMware、VirtualServer等都需要在二层交换下实现虚拟机迁移，因此在数据中心接入层使用二层交换将方便虚拟机的迁移和调度。当前由于Cisco独特的VSS虚拟交换机技术和vPC跨设备端口捆绑技术的使用，可以实现在二层结构下完全没有环路，从根本上解决了生成树算法收敛慢、不稳定、故障多的问题，也使得在一个数据中心内二层结构下的可扩展性与三层结构没有根本的区别。如下图所示，只要经过适当设计，本项目接入层的二层部分将没有环路，快速生成树算法将只用于在误操作等极端情况下的防范手段。当IEEE的改进生成树协议或者IETF的二层路由协议技术成熟，或者直接使用思科当前就可以提供的OTV技术，二层结构还可以扩展到城域和广域网中去，扩大服务器虚拟化的调度范围，向云计算的理想迈进。分布汇聚层的智能服务机箱相关的地址和逻辑设计将在后面专项的智能服务介绍中详细阐述。1.1绿色数据中心DCE技术的整合化、虚拟化和自动化本身就是在达到同样业务能力的要求下实现高效率利用硬件资源、减少总硬件投入、节约维护管理成本等方面的最佳途径，这本身也是绿色数据中心的必要条件。Page83of83 比亚迪数据中心建设方案佳众联科技另外DCE产品必须在硬件实现上实现低功耗、高效率，包括l利用最新半导体工艺（越小纳米的芯片要比大纳米的芯片省电）l降低逻辑电路的复杂度（在接入层使用二层设备往往要比三层设备省电）l减少通用集成电路的空转（使用定制化的专业设计的芯片往往比通用芯片省电）l等等……由此可见，对于一台网络设备，在业务能力相当的前提条件下，越小的功耗就代表越先进的技术。在DCE设备一般可以做到维持三层的全业务万兆吞吐功耗小于25W、二层的万兆吞吐功耗小于13W。综上所述，在本次比亚迪公司新一代数据中心网络的建设中，将采用不同于传统以太网技术的DCE以太网技术，构建面向服务的高效能数据中心网络平台。1.1局域网技术概况通过高速以太网技术为核心、清晰的层次化设计和虚拟网络的划分，是网络系统网络建设的关键。因此我们在网络系统设计中采用了成熟的万兆以太网作为系统骨干设计。目前，网络中最常用的媒体访问技术和交换技术主要包括：（一）IEEE802.3/以太网IEEE802.3/以太网是目前世界上运用最广泛的媒体访问技术。现有的局域网大多利用IEEE802.3/以太网进行组网。IEEE802.3/以太网是NOVELL网、WindowsNT、HPLANServer、UNIX网络、DECnet等低层所用的主要媒体访问技术，其组网方式灵活、方便，且支持的软硬件产品众多。IEEE802.3/以太网支持的速率为共享型10Mbps。在目前和今后，IEEE802.3/以太网仍然是组建用户端系统尤其是小型局域网系统最合适的组网方式。IEEE802.3/以太网在组网时，根据不同的媒体可分为10Base-2（以同轴粗缆为传输媒体）、10Base-5（同轴细缆）、10Base-T（双绞线）及10Base-FL（光纤）。其中10Base-2、10Base-5物理上以总线结构组网；而10Base-T和10Base-FL利用HUB，物理上以星型结构组网。（二）交换以太网Page83of83 比亚迪数据中心建设方案佳众联科技严格地说，交换以太网是一种技术，而并没有规定新的网络协议。它除了提供多个单独的10Mbps端口外，其支持协议仍然是IEEE802.3/以太网。交换以太网作为今后最有前途的一种技术，其最大的优点在于：·与原有IEEE802.3/以太网完全兼容。·提供多个独占的10Mbps端口，其速率总和为n×10Mbps，克服了IEEE802.3共享10Mbps带宽所带来的问题，如站点数增加、业务量扩大及多媒体应用造成网络效率下降的问题。·价格适宜，利用交换可取代桥和部分本地路由器，但价格更为便宜。因此，将交换以太网与普通以太网及高速网如FDDI、高速以太网或ATM相结合，是今后组建用户端系统的最佳方案。它对于站点数多、业务量大及多媒体的应用具有极大的优越性。当然，交换技术也可用于其它高速局域网，以提供更高的独占的高速端口。（三）100Base-T快速以太网100Base-T是由10Base-T发展而来，它们的主要区别在于网络的带宽提高了10倍，即100Mbps。从协议而言，它采用了FDDI的PMD协议，但其价格却比FDDI便宜。100Base-T的标准也由IEEE802.3制定。目前只要是支持10Base-T的网络操作系统，均可支持100Base-T而且100Base-T和10Base-T的报文可不加修改地互相交换。由于采用与10Base-T集成，是一种既便宜又实用的适合于多站点、高业务量应用的媒体访问技术。（四）千兆以太网千兆以太网既是以千兆位的速度运行的以太网，它是得到开发并被广泛应用的基于快速以太网（100BASE-T）技术的网络产品的自然进化。它提供了1000Mb/s的网络带宽，使得各种机构具有能力迎接已经超负荷并仍在快速增长的网络基础结构的挑战。千兆以太网保留了IEEE802.3和以太网标准的帧格式，以及IEEE802.3的网络管理功能。对千兆以太网的管理对象、属性以及活动的定义方式也和10Mb/s与100Mb/s网络相同。（五）万兆以太网在这20年中，以太网由最初10M粗缆总线发展为10Base5 10M细缆，其后是一个短暂的后退：1Base5的1兆以太网，随后以太网技术发展成为大家熟悉的星形的双绞线10BaseT。随着对带宽要求的提高以及器件能力的增强出现了快速以太网：五类线传输的100BaseTX、三类线传输的100BaseT4和光纤传输的100BaseFX。随着带宽的进一步提高，千兆以太网接口粉墨登场：包括短波长光传输1000Base-SX、长波长光传输1000Base-LX Page83of83 比亚迪数据中心建设方案佳众联科技以及五类线传输1000BaseT。2002年7月18日IEEE通过了802.3ae：10Gbit/s以太网又称万兆以太网。1.1服务器计算中心网络结构根据业界企业网络最佳设计实践参考，在边缘节点端口较少的小型网络中，可以考虑将核心层与分布层合并，小型网络的网络规模主要由接入层交换机决定。但对于比亚迪公司而言，结合比亚迪公司的业务现状及发展趋势，我们可以看到未来几年内业务处于一个高速成长期，必须在本期网络架构中充分考虑未来的可扩展性。所以比亚迪公司企业内部核心网络层次结构必须具有以上严格清晰的划分，即具有清晰的核心层、会聚分布层、接入层等分层结构，才能保证网络的稳定性、健壮性和可扩展性，以适应业务的发展。比亚迪公司的业务应用特点又决定了核心层将相对接入的网络模块较少，只有楼层汇聚接入、数据中心汇聚接入、广域网接入等三块，如果采用单独的大容量物理核心设备将造成浪费，而如果采用低端核心设备则会对业务相对繁忙的数据中心汇聚形成瓶颈，也影响网络整体的稳定性。鉴于此，我们采用超大规模核心层设备DCE交换机作为核心，但虚拟化为两套交换机，一套用于全网核心，一套用于数据中心汇聚。这样做的优势如下：l逻辑上仍然是清晰的两套设备，完全保持了前述网络分层结构的优势。l在性能上实现了网络核心和数据中心汇聚交换机资源的共享和复用，非常好的解决了核心层数据量和数据中心数据量可能存在较大差异的问题。l以较低的投入升级了数据中心汇聚交换机的能力（相当于可以与核心层复用4Tbps以上的交换能力），适于下一阶段要进行的数据中心双网融合的资源需求。l减少了设备数量，降低了设备投入成本、功耗开销和维护管理的复杂度。Ø服务器区虚拟化服务的部署VMwarevCenterServers让管理员可以使用标准化的模板快速调配虚拟机和主机，并利用自动化的补救操作来确保遵从vSphere主机配置和主机及虚拟机修补程序级别。集成的物理到虚拟机转换(P2V)可同时管理多个物理机、非VMware虚拟机格式以及物理机备份映像到正在运行的虚拟机的转换。Page83of83 比亚迪数据中心建设方案佳众联科技利用VMwarevCenterUpdateManager，通过自动扫描和修补在线VMwareESX主机和所选Microsoft及Linux虚拟机，强制实施对修补程序标准的遵从性。通过安全地修补离线虚拟机来减少环境中的安全风险，并通过在修补和回滚前自动拍摄快照来减少停机。1.1整合能力1.1.1一体化交换技术DCE技术的重要目标是实现传统数据中心最大程度的资源整合，从而实现面向服务的数据中心SODC的最终目标。在传统数据中心中存在三种网络：使用光纤存储交换机的存储交换网络（FiberChannelSAN），便于实现CPU、内存资源并行化处理的高性能计算网络（多采用高带宽低延迟的InfiniBand技术），以及传统的数据局域网。DCE技术将这三种网络实现在统一的传输平台上，即DCE将使用一种交换技术同时实现远程存储、远程并行计算处理和传统数据网络功能。这样才能最大化的实现三种资源的整合，从而便于实现跨平台的资源调度和虚拟化服务，提高投资的有效性，同时还降低了管理成本。比亚迪公司业务的特点不需要超级计算功能，因此本次项目要实现存储网络和传统数据网络的双网合一，使用DCE技术实现二者的一体化交换。当前在以太网上融合传统局域网和存储网络唯一成熟技术标准是FiberChannelOverPage83of83 比亚迪数据中心建设方案佳众联科技Ethernet技术（FCoE），它已在标准上给出了如何把存储网(SAN)的数据帧封装在以太网帧内进行转发的相关技术协议。由于该项技术的简单性、高效率、经济性，目前已经形成相对成熟的包括存储厂商、网络设备厂商、主机厂商、网卡厂商的生态链。具体的协议发布可参见FCoE的相关WebSites(http://www.fcoe.com/http://www.t11.org/fcoe)本次数据中心建设将做好FCoE的基础设施准备，并将在下一阶段完成基于FCoE技术的双网融合。1.1.1无丢弃以太网技术为保证一体化交换的实现，DCE改变了传统以太网无连接、无保障的BestEffort传输行为，即保证主机在通过以太网进行磁盘读写等操作、高性能计算所要求的远程内存访问、并行处理等操作，不会发生任何不可预料的传输失败，达到真正的“无丢包”以太网目标。DCE在网络中以硬件及软件的形式实现了以下技术：基于优先级类别的流控(PriorityFlowControl)通过基于IEEE802.1p类别通道的PAUSE功能来提供基于数据流类别的流量控制带宽管理IEEE802.1Qaz标准定义基于IEEE802.1p流量类别的带宽管理以及这些流量的优先级别定义拥塞管理IEEE802.1Qau标准定义如何管理网络中的拥塞(BCN/QCN)l基于优先级类别的流控在DCE的理念中是非常重要的一环，通过它和拥塞管理的相互合作，我们可以构造出“不丢包的以太网”架构；这对今天的我们来说，它的诱惑无疑是不可阻挡的。不丢包的以太网络提供一个安全的平台，它让我们把一些以前无法安心放置到数据网络上的重要应用能安心的应用到这个DCE的数据平台。Page83of83 比亚迪数据中心建设方案佳众联科技l带宽管理在以太网络中提供类似于类似帧中继(FrameRelay)的带宽控制能力，它可以确保一些重要的业务应用能获得必须的网络带宽；同时保证网络链路带宽利用的最大化。l拥塞管理可以提供在以太网络中的各种拥塞发现和定位能力，这在非连接的网络中无疑是一个巨大的挑战；可以说在目前的所有非连接的网络中，这是一个崭新的应用；目前的研究方向主要集中在后向拥塞管理(BCN)和量化拥塞管理(QCN)这两个方面。1.1.1性能支撑能力为保证实现一体化交换和资源整合，DCE还必须对传统以太网的性能和可扩展性的进行革新。首先为保证三网合一后的带宽资源，万兆以太网技术只是DCE核心层带宽的起点。而正在发展中的40G/100G以太网才是DCE技术将来的主流带宽。因此，要保证我们今天采购的设备能有5年以上的生命周期，就必须考虑硬件的可扩展能力。这也就是说从投资保护和工程维护的角度出发，我们需要一个100G平台的硬体设备，即每个设备的槽位至少要支持100G的流量（全双工每槽位200Gbps），只有这样才能维持该设备5年的生命周期。同时从经济性的角度来考虑，如果能达到400G的平台是最理想的。另外存储网络和高性能计算所要求的通过网络实现的远程磁盘读写、内存同步的性能需求，DCE设备必须提供比传统以太网设备低几个数量级的端口间转发延迟。DCE要求的核心层的三层转发延迟应可达到30us以下，接入层的二层转发延迟应可在3～4us以下。这都是传统以太网技术无法实现的性能指标要求。1.1.2智能服务的整合能力众所周知，应用的复杂度是在不断的提升，同时伴随着网络的融合，应用对网络的交互…可以预见的是网络的复杂度也将不断的提升。这也印证我们的判断：应用对网络的控制将逐步增强，网络同时也在为应用而优化。因此构建一个单业务的简单L2转发网络并不是网络设备的设计方向；全业务的设备和多业务融合的网络才是我们所需要的环境。Page83of83 比亚迪数据中心建设方案佳众联科技那么我们需要什么样的全业务呢，很明显DataCenterEthernet是一个必备的项目，同时我们至少还需要其它的基本业务属性来保障一个多业务网络的运行，如：l服务质量保证QoSl访问列表控制ACLl虚拟交换机的实现VirtualSwitchl网络流量分析NetflowlCPU抗攻击保护CoPPl远程无人值守管理CMPl嵌入式事件管理EEM当然，所有这些业务的实现都是在不影响转发性能的前提条件下的。失去这个大前提，多业务的实现就变得毫无意义。所以设计一个好的产品就必须顾全多业务、融合网络这个大前提。如何使这些复杂的业务处理能够在高达100G甚至是400G的线路卡上获得线速处理的性能是考验一个硬件平台的重要技术指标。最终的胜出者无疑就是能够用最小的代价来换取最大业务实现和性能的设备平台。1.1虚拟化能力DCE对网络虚拟化不仅仅是传统意义上的VLAN和VPN，为实现SODC的交互服务层资源调度方式，DCE还能够做到以下的虚拟化能力。Page83of83 比亚迪数据中心建设方案佳众联科技1.1.1服务器虚拟化服务器虚拟化可以使上层业务应用仅仅根据自己所需的计算资源占用要求来对CPU、内存、I/O和应用资源等实现自由调度，而无须考虑该应用所在的物理关联和位置。当前商用化最为成功的服务器虚拟化解决方案是VMWare的VMotion系列，微软的VirtualServer和许多其它第三方厂商（如Intel、AMD等）也正在加入，使得服务器虚拟化的解决方案将越来越完善和普及。然而人们越来越意识到服务器虚拟化的系统解决方案中除了应用、主机、操作系统的角色外，网络将是一个更为至关重要的角色。网络将把各个自由联系成为一个整体，网络将是实现自由虚拟化的桥梁。服务器虚拟化需要DCE能够提供以下能力：l资源的整合：业务应用运行所依赖的物理计算环境都需要网络实现连接，然而在传统网络中，传输数据的数据网、互连CPU和内存的计算网、互连存储的存储网都是孤立的，这就无法真正实现与物理无关的服务器资源调度，因此实现真正意义上彻底的服务器虚拟化，前面提到的DCE三网一体化交换架构是必须的条件。l网络的虚拟机意识：传统网络是不具备虚拟机意识的，即在网络上传递的信息是无法区别它是来自于哪个虚拟机，也无法在网络上根据虚拟机来提供相应的网络服务，当虚拟机迁移，也没有相应的网络跟踪手段保证服务的全局一致性。不过这些都是DCE正在解决的问题，一些DCE的领导厂商，比如思科，已经在推出的商用化DCE产品中提供了相应的虚拟机标识机制，并且思科已经联合VMware等厂商将这些协议提交IEEE实现标准化。l虚拟机迁移的网络环境：服务器虚拟化是依靠虚拟机的迁移技术实现与物理资源无关的资源共享和复用的。虚拟机迁移需要一个二层环境，这导致迁移范围被局限在传统的VLAN内。我们知道Web2.0、云计算等概念都需要无处不在的数据中心，那么如何实现二层网络的跨地域延展呢？传统的L2MPLS技术太复杂，于是IEEE和IETF正在制定二层多路径（即二层延展）的新标准，DCE的领导厂商思科公司也提出了一种新的协议标准CiscoOvertheTopVirtualization(OTV)来解决跨城域或广域网的二层延展性问题，从而为服务器虚拟化提供可扩展的网络支撑。1.2自动化Page83of83 比亚迪数据中心建设方案佳众联科技自动化是SODC架构中上层自动优化的实现服务调用必须条件。在高度整合化和虚拟化的基础上，服务的部署完全不需要物理上的动作，资源在虚拟化平台上可以与物理设施无关的进行分配和整合，这样我们只需要将一定的业务策略输入给智能网络的策略服务器，一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和调配实现。现在商用的DCE自动化解决方案包括管理自动化和业务部署自动化。比亚迪公司数据中心将在后续的建设中逐步完善自动化管理和自动化业务部署，但需要在本期通过DCE技术的实施打下未来自动化部署的坚实基础。Page83of83 比亚迪数据中心建设方案佳众联科技第1章比亚迪公司无线网络接入网络结构设计（建议）1.1概述思科无线网络产品系列是为那些希望为本身业务、IP电话和融合多媒体应用系统广泛部署无线覆盖的一款完整802.11解决方案。这款解决方案将最新的行业标准与一种集中架构和先进功能结合起来，创建一种安全、经济有效并且极具扩展性的无线局域网(WLAN)基础设施。思科无线网络产品系列包括规划和实施所需的工具和功能，使首次部署无线局域网(WLAN)能快捷简便的完成，也适合于企业逐步演进事先精确设计的无线移动基础设施。思科无线网络产品系列采用一种由一台或几台中央无线控制器控制和管理“瘦”接入点的集中式无线局域网部署模式。这套系列的三个主要构件包括一个多频点接入点（AP）、无线控制器（WLC）组合和一套无线管理软件系统（WCS）。在整个无线移动解决方案中，每个构件均起着重要作用。1.2无线部分设计Page83of83 比亚迪数据中心建设方案佳众联科技通常，包括IP电话、无线接入设备、接入交换机等设备要正常运行的话，至少都需要两个接口，一个上联上层设备，而另一个连接电源，两者缺一不可。在正常的网络环境，这两个必备条件很容易满足，但对于一些必须要被安放在特殊位置，如吊顶、办公室墙壁中等，在连接到电源时就必须单独布线，给用户带来成本增加以及工作复杂性等问题。而IEEE802.3af标准中所规范的以太网供电技术，则使用户在网络实施时免去对电源接口的依赖。在该标准中，通过定义包括在非屏蔽的双绞线上传输48V的交流电等方法来构建供电设备和用电设备，可用于已有的线缆设备，包括3类、5类、5e类或6类线缆、垂直和插塞式电缆、接线板、插座和连接硬件，而不需要对设备进行修改。同时，由于在802.3af标准中电源设备还包含有一种防止向不符合802.3af规范的设备传送电源的检测机制，只有具有认证的“PoweroverLAN”标志终端才能接收电源，从而防止了损坏其他设备。此外，802.3af技术还支持点到多点的电力分配设备，用户只需在网络核心部位配备一套UPS设备就可以为本地网内多种分散设备提供电力备份，并且802.3af技术还提供了基于Web控制的SNMP远程访问和管理。如下拓扑图曲线所示：厂区内部网络的各个AP，只要TCP/IP互通，都可用通过IP把分布在厂区各个地域的AP注册到AP控制器上。无线控制器可以做到在各个厂区漫游的时候不无丢包的切换，从而保证大厂房内部的无缝漫游。（相同的，IP话机也是需要注册到服务器上，所以也需要在厂区各个地点的IP话机需要与数据中心的callmanger服务器互通）在做接入点规划时需要考虑用户的移动性需求。一种用户在整个覆盖区域内移动时需要一直与WLAN相连接。另一种用户只需要不时接入WLAN，比如高级管理人员在不同大楼会议间歇时需要不时查看电子邮件。第一种需求需要跨越WLAN的无缝漫游，此WLAN需要大接入点密度。而第二种需求属于间断性的无线连接，接入点密度可以相对小一些。管理办公楼的应用情况属于第一种情况，因此应部署一定密度的无线接入点，同时通过合理的频点规划最大程度上避免频率干扰问题。Page83of83 比亚迪数据中心建设方案佳众联科技1.1无线网络性能设计在管理办公楼部署一个能保证性能的WLAN并非易事，规划WLAN的关键是规划接入点，需要有足够的蜂窝重叠覆盖以供漫游，并需要足够的带宽以供应用。如果无线接入点不足，最后可能导致吞吐量出现问题，同时也会使覆盖区域零星散落，对用户的漫游和工作地点造成一定的限制。我们的网络设计均针对以下问题作出！计算吞吐量在布署WLAN之前需要考虑WLAN最常使用的是哪种通信：是电子邮件和Web通信、或是对速度要求很高的ERP（企业资源规划）、还是CAD（计算机辅助设计）应用程序。是需要速度为54Mbps的802.11a和802.11g，还是只需要速度为11Mbps的802.11b就足够。不管使用哪一种通信，当用户与接入点的距离过远时，网络速度都会显著下降，所以安装足够的接入点不仅仅是为了支持所有的用户，也是达到用户需要的连接速度所要求的。Page83of83 比亚迪数据中心建设方案佳众联科技Page83of83 比亚迪数据中心建设方案佳众联科技WLAN宣称的速度并不一定准确对应于它的实际速度。与交换式以太网不同，WLAN是一种共享介质，它更像是老式以太网的集线器模型，将可用的吞吐量分割为若干份而不是为每个接入设备提供专线速度。这一限制（通过电波传输数据时还会有50%的损耗）对无线网络的吞吐量规划而言是一个很大的问题，计算接入点数目时最好多预留一些空间。仅仅根据用户数目及其最小带宽需求来计算接入点数目是极其冒险的，尽管它可以在一段时间内满足对容量的需求。防止干扰干扰对于某些机构可能会是个问题。尽管追踪入侵微电波、无绳电话和蓝牙设备并非难事，但更常遇到的是来自网络内部其它接入点甚至是网络外部的干扰。例如，802.11b和802.11g在2.4GHz频带内提供三个相同的非重叠信道，这使得规划密集部署或在相邻WLAN的干扰下工作变得十分困难。理想的情况是，2.4GHz环境中的信道1、6和11永远不会与同一信道相邻，这样它们就不会相互干扰，但这是不现实的。实际上需要一定量的良性蜂窝覆盖重叠以允许用户漫游（20%到30%最佳），但如果站点处的建筑物超过一层，即便是使用高增益天线，建筑物的层与层之间也会有一些渗漏。802.11a的12个非重叠信道可以在很大程度上缓解信道分配带来的问题。802.11a使用的5GHz频带几乎不会造成任何非WLAN干扰，而且用户也不太可能遇到相邻802.11a接入点。关注覆盖区域WLAN的射频信号是这样传播的：信号频率越低，无线网络传输速度越慢，有效范围就越远。由于大量射频信号以较低频率传播，同时信噪比的灵敏度因为高速调制方式而增加，所以速度为1Mbps的2.4GHz802.11b信号的传播距离远远超过速度为54Mbps的5GHz802.11a信号。WLAN的覆盖范围除了受不同射频带和吞吐量变化而造成的波传播特征影响之外，还会因为自由空间路径损耗和衰减而受到限制。自由空间路径损耗更大程度上是开放或户外环境方面的问题，实际上是无线电信号因为波前扩展引起的扩散导致接收天线接收不到这些信号。衰减则在WLAN的室内安装中比较常见，它是振幅下降，或者射频信号在穿过墙壁、门或其它障碍物时减弱造成的。这就是WLAN在密集建筑物周围性能不好的原因。当面对这种物理上的干扰时，即使是弹性比5GHz信号好得多的2.4GHz信号，仍然会遇到某些射频问题。Page83of83 比亚迪数据中心建设方案佳众联科技多路径效应也是影响覆盖范围的重要因素之一。所谓多路径效应，就是信号被反射并回送的现象。在大多数情况下，多路径效应使接收到的信号被削弱或是被完全抵消。于是有一些本来应该充分传播信号的区域几乎或根本没有射频信号覆盖。防止多路径效应的办法是拆除或重新安置机柜和网络设备机架之类的干扰对象，同时增加接入点密度或功率输出。使用自动化工具以上提到的所有这一切，都要从无线站点勘察着手，站点勘察将评估和规划无线基础设施的射频（RF，radiofrequency）环境和接入点的设置，以确保WLAN正常工作。从便携式WLAN硬件工具箱到提供站点覆盖区域详细视图的软件包，有许多很方便的工具可帮助完成站点勘察。站点勘察工具使得布署WLAN的工作能够非常顺利地进行。射频建模软件，例如思科的WCS，可根据进入楼层计划自动确定接入点位置来帮助自动决定接入点的初始布局。其它工具，例如Airmagnet，可通过运行软件的便携式或手持式设备来提供有关射频环境的信息。综合工具，例如Ekahau的SiteSurvey会从WLAN的系统范围角度记录同样的射频数据和用户的位置。不管使用什么工具，仍然需要手工进行站点勘察，这是勘察工具所不能代替的。 Page83of83 比亚迪数据中心建设方案佳众联科技像思科的规划工具可以确定接入点位置、信道分配、功率输出设置以及其它配置属性。它们使用用户密度和吞吐量这类参数作为标准。问题在于仍然必须在基于CAD的楼层规划中对诸如混凝土外墙和金属门之类的建筑物指定预设衰减级别，除非规划中已经包含此信息。接入点勘察工作完成后，需要验证和描述这些接入点的覆盖区域。为此，可使用随客户机WLAN卡提供的站点勘察实用程序（假定供应商捆绑了该实用程序）或者使用随高级监视工具提供的实用程序，或者是一些便携式WLAN分析仪。1.1.1无线网络的频点覆盖设计802.11b/g的频率范围2400-2483.5MHz，划分了14个子频道，频带宽为22MHz，最多可以提供3个不重叠的频道同时工作(1，6，11)。802.11a则可以提供12个非重叠信道。Page83of83 比亚迪数据中心建设方案佳众联科技　　覆盖的两种常用的方式：宏蜂窝和微蜂窝；在某些功率限制较小的场合如室外、大的运动场地，可以通过加大基站发射功率和接收灵敏度以及提高基站天线高度的方法来提高单个基站的覆盖范围。　　(1)宏蜂窝　　只有在基站位于开阔地的时候，接收机的输入功率能够满足标准的无线局域网接收机的灵敏度要求，如果适当提高基站灵敏度和功率，则可以覆盖更大的范围，而对于城市或城郊来说，如果应用宏蜂窝，则无线局域网收发设备的功率和灵敏度都要大幅度增加，这对于城市频谱、电磁兼容限制以及成本增加来说，都是不能允许的，因此，不推荐使用宏蜂窝进行布网，除非在大范围的开阔地应用。　　(2)微蜂窝　　微蜂窝覆盖可以在室内进行网络覆盖，一般可设在建筑物楼板顶部，也可以借助某些已有的设施，如线槽、墙壁等安装AP，进行链路计算，确定满足接收机灵敏度的最大范围，针对覆盖区域性状和大小的要求，也要进行天线选型以满足重点区域的良好覆盖。综合以上因素，在一定区域内确定所有微蜂窝基站的位置，从而完成覆盖。　　室内传播环境与室外相比，覆盖距离更小，环境变化更大，不受雨、雪、云等天气的影响，但受建筑物的大小、形状、结构、房间布局及室内陈设的影响，最重要的是建筑材料的影响。室内障碍物不仅有砖墙，而且包括木材、玻璃、金属和其他材料。这些因素导致室内传播环境远较室外复杂。　　室内通常要采用微蜂窝、组合以全向、半向或定向室内天线来覆盖盲区。具体到本项目的设计，我们建议针对不同的频段采取不同的二维和三位覆盖设计：Page83of83 比亚迪数据中心建设方案佳众联科技Page83of83 比亚迪数据中心建设方案佳众联科技1.1.1天线的选择基于特定三维（通常指水平或垂直）平面，可以把天线分为两大基本类型：·全向天线（在平面中均匀辐射）Page83of83 比亚迪数据中心建设方案佳众联科技·定向天线（在某方向辐射较多）在自由空间内，任何天线都向各个方向辐射能量，但是特定的架构会使天线在某个方向上获得较大方向性，而其它方向的能量辐射则可以忽略。　　在发射功率受到限制的情况下，天线技术成为提高覆盖的重要手段。在室外应使用高增益的定向/全向天线，在室内一般使用全向/定向天线，并采用分集接收和智能天线技术。同时应尽量避免频率和电磁干扰。　　分集接收是在发射机和接收机之间的多个独立信道，因此当独立的通道本质上是空间的话，就可得到天线分集和极化鉴别，也就是说，在接收机和发射机的天线单元之间存在充分的间隔，各自信号相互之间就没有或很少有相关性，天线分集可用来提高信号的链路性能或是增加数据的吞吐量。　　天线分集技术可以化为两大类，即发射和接收分集。　　(1)接收分集　　在接收机中使用多个天线称之为接收分集，是相当容易实现。本质上能接收发射信号流的多个拷贝，采用合适的信号处理技术有效地把这些拷贝信号组合在一起。随着天线数量的增加，中断的可能性就降到了零，而且有效信道逼近于加性高斯噪声信道。两种最普遍的接收分集技术是选择和最佳比率组合。　　(2)发射分集多单元的发射机天线阵列在新兴的无线局域网网络中，特别在接入点将发挥越来越重要的作用。事实上，当与经适当设计的信号处理算法一起使用时，这样的阵列会极大地提高性能。天线增益天线设计中，“增益”指天线最强辐射方向的天线辐射方向图强度与参考天线的强度之比取对数。如果参考天线是全向天线，增益的单位为dBi。比如，偶极子天线的增益为2.14dBi。偶极子天线也常用作参考天线（这是由于完美全向参考天线无法制造），这种情况下天线的增益以dBd为单位。天线增益是无源现象，天线并不增加激励，而是仅仅重新分配而使在某方向上比全向天线辐射更多的能量。如果天线在一些方向上增益为正，由于天线的能量守恒，它在其他方向上的增益则为负。因此，天线所能达到的增益要在天线的覆盖范围和它的增益之间达到平衡。比如，碟形天线的增益很大，但覆盖范围却很窄，所以它必须精确地指向目标；而全向天线由于需要向各个方向辐射，它的增益就很小。Page83of83 比亚迪数据中心建设方案佳众联科技碟形天线的增益与孔径（反射区）、天线反射面表面精度，以及发射/接收的频率成正比。通常来讲，孔径越大增益越大，频率越高增益也越大，但在较高频率下表面精度的误差会导致增益的极大降低。“孔径”和“辐射方向图”与增益紧密相关。孔径是指在最高增益方向上的“波束”截面形状，是二维的（有时孔径表示为近似于该截面的圆的半径或该波束圆锥所呈的角）。辐射方向图则是表示增益的三维图，但通常只考虑辐射方向图的水平和垂直二维截面。高增益天线辐射方向图常伴有“副瓣”。副瓣是指增益中除主瓣（增益最高“波束”）外的波束。副瓣在如雷达等系统需要判定信号方向的时候，会影响天线质量，由于功率分配副瓣还会使主瓣增益降低。辐射方向图是天线发射或接受相对场强度的图形描述。由于天线向三维空间辐射，需要数个图形来描述。如果天线辐射相对某轴对称（如双极子天线、螺旋天线和某些抛物面天线），则只需一张方向图。不同的天线供应商/使用者对于方向图有着不同的标准和制图格式。思科AIR-LAP1131AG-C-K9无线接入点内置2.4G和5G频段的无线射频模块，支持天线分级技术，并提供2.4G和5G频段的内置高增益天线。Page83of83 比亚迪数据中心建设方案佳众联科技无线接入点/天线安装的注意事项：由于天线用来传送和接收无线电信号，他们很容易受到干扰，同源射频干扰会降低吞吐量可减少幅射距离。安装时应遵守以下这些指引，以确保最佳性能：·利用传播特性，天线应垂直安装在尽可能高的地方。·让天线远离金属障碍物，例如热力取暖和空调管道，大型结构吊顶上方,建筑物顶部，主电力电缆路由附近。如有必要,用保护管道降低天线高度远离这些障碍物。·如果信号确定必须穿过一定密度的材料建筑（墙壁）而仍然保持足够的覆盖。您需要考虑以下因素来选择天线安装位置:ü纸和乙烯塑料墙壁对信号的穿透影响很小。ü实心、预制混凝土墙壁对信号的穿透限制为一至两面墙壁，不会影响覆盖（根据墙体厚度）。Page83of83 比亚迪数据中心建设方案佳众联科技ü带有木门的混凝土墙对信号的穿透限制为三至四面墙壁，不会影响覆盖（根据墙体厚度）。ü木材或砖砌墙对信号的穿透限制为五至六面墙壁，不会影响覆盖（根据墙体厚度）。ü金属墙体或带金属门的墙体会引起信号反射，信号穿透效果很差！ü间隔在1至1.5英寸(2.5至3.8厘米)的金属链环栅栏或金属防护丝网，由于谐波反射，会完全屏蔽2.4GHz的无线信号！·安装天线时远离微波炉、2.4GHz的无绳电话。这些产品可对在同一频率范围内操作的设备造成信号干扰。·天线应安装在垂直方向使信号最大化传输。1.1.1无线网络系统的安全防护设计　　无线网络一直面临安全问题。与此同时，越来越多的企业决策者认为安全问题是影响他们作出WLAN部署决定的首要因素。　　1.基本的WLAN安全　　业务组标识符(SSID)：无线客户端必须出示正确的SSID才能访问无线接入点AP。利用SSID，可以很好地进行用户群体分组，避免任意漫游带来的安全和访问性能的问题，从而为无线局域网提供一定的安全性。然而无线接入点AP周期向外广播其SSID，使安全程度下降。另外，一般情况下，用户自己配置客户端系统，所以很多人都知道该SSID，很容易共享给非法用户。　　物理地址(MAC)过滤：每个无线客户端网卡都由惟一的物理地址标识，因此可以在AP中手工维护一组允许访问的MAC地址列表，实现物理地址过滤。物理地址过滤属于硬件认证，而不是用户认证。这种方式要求AP中的MAC地址列表必需随时更新，目前都是手工操作；如果用户增加，则扩展能力很差，因此只适合于小型网络规模。另外，非法用户利用网络侦听手段很容易窃取合法的MAC地址，而且MAC地址并不难修改，因此非法用户完全可以盗用合法的MAC地址进行非法接入。　　2、IEEE802.11的安全技术　　(1)认证　　在无线客户端和中心设备交换数据之前，它们之间必须先进行一次对话。在802.11b标准制定时，IEEE在其中加入了一项功能：当一个设备和中心设备对话后，就立即开始认证工作，在通过认证之前，设备无法进行其他关键通信。这项功能可以被设为sharedkeyauthentication和openPage83of83 比亚迪数据中心建设方案佳众联科技authentication，默认的是后者。在默认设定下，任何设备都可以和中心设备进行通讯，而无法越过中心设备，去更高一级的安全区域。而在sharedkeyauthentication设定时，客户机要先向中心设备发出连接请求，然后中心设备发回一串字符，要求客户机使用WEP钥匙返回密码。只有在密码正确的情况下，客户机才可以和中心设备进行通信，并可以进入更高级别。　　使用认证方式有一个缺点，中心设备发回的字符是明文的。通过监听通信过程，攻击者可以在认证公式中得到2个未知数的值，明文的字符和客户机返回的字符，而只有一个值还无法知道。通过RC4计算机通信加密算法，攻击者可以轻易的搞到sharedauthenticationkey。由于WEP使用的是同一个钥匙，侵入者就可以通过中心设备，进入其他客户端。讽刺的是，这项安全功能通常都应该设为“openauthentication”，使得任何人都可以和中心设备通信，而通过其他方式来保障安全。尽管不使用这项安全功能看上去和保障网络安全相矛盾，但是实际上，这个安全层带来的潜在危险远大于其提供的帮助。　　(2)保密　　有线等效保密(WEP)：WEP虽然通过加密提供网络的安全性，但存在许多缺陷：　　缺少密钥管理。用户的加密密钥必须与AP的密钥相同，并且一个服务区内的所有用户都共享同一把密钥。WEP标准中并没有规定共享密钥的管理方案，通常是手工进行配置与维护。由于同时更换密钥的费时与困难，所以密钥通常长时间使用而很少更换，倘若一个用户丢失密钥，则将殃及到整个网络。　　ICV算法不合适。WEPICV是一种基于CRC-32的用于检测传输噪音和普通错误的算法。CRC-32是信息的线性函数，这意味着攻击者可以篡改加密信息，并很容易地修改ICV，使信息表面上看起来是可信的。能够篡改即加密数据包使各种各样的非常简单的攻击成为可能。　　RC4算法存在弱点。在RC4中，人们发现了弱密钥。所谓弱密钥，就是密钥与输出之间存在超出一个好密码所应具有的相关性。在24位的IV值中，有9000多个弱密钥。攻击者收集到足够的使用弱密钥的包后，就可以对它们进行分析，只须尝试很少的密钥就可以接入到网络中。利用认证与加密的安全漏洞，在很短的时间内，WEP密钥即可被破解。　　3、IEEE802.11i标准　　(1)认证-端口访问控制技术(IEEE802.1x)　　通过802.1X，当一个设备要接入中心设备时，中心设备就要求一组证书。用户提供的证书被中心设备提交给服务器进行认证。这台服务器称为RADIUS，也就是temoteAuthenticationDial-InUserPage83of83 比亚迪数据中心建设方案佳众联科技Service，通常是用来认证拨号用户的。这整个过程被包含在802.1X的标准EAP(扩展认证协议)中。EAP是一种认证方式集合，可以让开发者以各种方式生成他们自己的证书发放方式，EAP也是802.1X中最主要的安全功能。现在的EAP方式主要有四种：EAP-MD5、EAP-TLS、EAP-TTLS、EAP-PEAP。　　(2)保密　　有线等效保密的改进方案-TKIP。　　目前Wi-Fi推荐的无线局域网安全解决方案WPA(Wi-FiProtectedAccess)以及制定中的IEEE802.11i标准均采用TKIP(TemporalKeyIntegrityProtocol)作为一种过渡安全解决方案。TKIP与WEP一样基于RC4加密算法，但相比于WEP算法，将WEP密钥的长度由40位加长到128位，初始化向量IV的长度由24位加长到48位，由于WEP算法的安全漏洞是由于WEP机制本身引加性高斯噪声信道起的，与密钥的长度无关，即使增加加密密钥的长度，也不可能增强其安全程度，初始化向量IV长度的增加也只能在有限程度上提高破解难度，比如延长破解信息收集时间，并不能从根本上解决问题，因为作为安全关键的加密部分，TKIP没有脱离WEP的核心机制。　　目前已经制定完成的IEEE802.11i标准的终极加密解决方案为基于IEEE802.1x认证的CCMP(CBC-MACProtoco1)加密技术，即以AES(AdvancedEncryptionStandard)为核心算法，采用CBC-MAC加密模式，具有分组序号的初始向量。CCMP为128位的分组加密算法，相比前面所述的所有算法安全程度更高。Page83of83 比亚迪数据中心建设方案佳众联科技第1章网络安全设计1.1网络安全部署思路1.1.1网络安全整体架构目前大多数的安全解决方案从本质上来看是孤立的，没有形成一个完整的安全体系的概念，虽然已经存在很多的安全防护技术，如防火墙、入侵检测系统、防病毒、主机加固等，但是各个厂家鉴于各自的技术优势，往往厚此薄彼。必须从全局体系架构层次进行总体的安全规划和部署。比亚迪公司本次信息建设虽然仅包括数据中心、内网楼层以及广域网中心部分的改造和建设，但也必须从全局和架构的高度进行统一的设计。建议采用目前国际最新的“信息保障技术框架（IATF）”安全体系结构，其明确提出需要考虑3个主要的因素：人、操作和技术。本技术方案着重讨论技术因素，人和操作则需要在非技术领域（比如安全规章制度）方面进行解决。技术因素方面IATF提出了一个通用的框架，将信息系统的信息保障技术层面分为了四个技术框架域：·网络和基础设施：网络和基础设施的防护·飞地边界：解决边界保护问题·局域计算环境：主机的计算环境的保护·支撑性基础设施：安全的信息环境所需要的支撑平台并提出纵深防御的IA原则，即人、技术、操作相结合的多样性、多层叠的保护原则。如下图所示：Page83of83 比亚迪数据中心建设方案佳众联科技主要的一些安全技术和应用在框架中的位置如下图所示：我们在本次网络建设改造中需要考虑的安全问题就是上图中的“网络和基础设施保护”、“边界保护”两个方面，而“计算机环境（主机）”、“支撑平台”则是在系统主机建设和业务应用建设中需要重点考虑的安全问题。Page83of83 比亚迪数据中心建设方案佳众联科技1.1.1网络平台建设所必须考虑的安全问题高速发达的网络平台衍生现代的网络病毒、蠕虫、DDoS攻击和黑客入侵等等攻击手段，如果我们的防护手段依然停留在对计算环境和信息资产的保护，将处于被动。需要从网络底层平台的建设开始，将安全防护的特性内置于其中。因此在SODC架构中，安全是一个智能网络应当对上层业务提供的基本服务之一。比亚迪公司网络从平台安全角度的安全设计分为以下三个层次：设备级的安全：需要保证设备本身的安全，因为设备本身也越来越可能成为攻击的最终目标；网络级的安全：网络作为信息传输的平台，有第一时间保护信息资源的能力和机会，包括进行用户接入认证、授权和审计以防止非法的接入，进行传输加密以防止信息的泄漏和窥测，进行安全划分和隔离以防止为授权的访问等等；系统级的主动安全：智能的防御网络必须能够实现所谓“先知先觉”，在潜在威胁演变为安全攻击之前加以措施，包括通过准入控制来使“健康”的机器才能接入网络，通过事前探测即时分流来防止大规模DDoS攻击，进行全局的安全管理等。比亚迪公司应在上述三个方面逐步实施。1.2网络设备级安全网络设备自身安全包括设备本身对病毒和蠕虫的防御以及网络协议本身的防范措施。有以下是本项目所涉及的网络设备和协议环境面临的威胁和相应的解决方案：1.2.1防蠕虫病毒的等Dos攻击数据中心虽然没有直接连接Internet，但内部专网中很多计算机并无法保证在整个使用周期内不会接触互联网和各种移动存储介质，仍然会较多的面临大量网络蠕虫病毒的威胁，比如RedCode，SQLSlammer等等，由于它们经常变换特征，防火墙也不能完全对其进行过滤，它们一般发作的机理如下：·利用MicrodsoftOS或应用的缓冲区溢出的漏洞获得此主机的控制权Page83of83 比亚迪数据中心建设方案佳众联科技·获得此主机的控制权后，安装病毒软件，病毒软件随机生成大量的IP地址，并向这些IP地址发送大量的IP包。·有此安全漏洞的MSOS会受到感染，也随机生成大量IP地址，并向这些IP地址发送大量的IP包。·导致阻塞网络带宽，CPU利用率升高等·直接对网络设备发出错包，让网络设备CPU占用率升高直至引发协议错误甚至宕机因此需要在设备一级保证受到攻击时本身的健壮性。此次比亚迪公司的核心交换机Nexus7000、智能服务机箱Catalyst6500均支持硬件化的控制平面流量管制功能，可以自主限制必须由CPU亲自进行处理的信息流速，要求能将包速管制阈值设定在CPU可健康工作的范围内，从根本上解决病毒包对CPU资源占用的问题，同时不影响由数据平面正常的数据交换。特别是Nexus7000的控制平面保护机制是在板卡一级分布式处理的，具备在大型IDC中对大规模DDoS的防护能力。另外所有此类的蠕虫和病毒都会利用伪造源IP地址进行泛滥，局域网核心交换机和广域网骨干路由器都应当支持对转发的包进行源地址检查，只有源地址合法的IP包才会被转发，这种技术称为UnicastReverseForwarding（uRPF，单播反转路径转发）。该技术如果通过CPU实现，则在千兆以上的网络中将不具备实用性，而本次比亚迪公司网络中在万兆一级的三层端口支持通过硬件完成的uRPF功能。1.1.1防VLAN的脆弱性配置在数据中心的不同安全域进行防火墙访问控制隔离时，存在多个VLAN，虽然广泛采用端口捆绑、vPC等技术使正常工作中拓扑简化甚至完全避免环路，但由于网络VLAN多且关系复杂，无法在工程上完全杜绝诸如网络故障切换、误操作造成的临时环路，因此有必要运行生成树协议作为二层网络中增加稳定性的措施。但是，当前有许多软件都具有STP功能，恶意用户在它的PC上安装STP软件与一个Switch相连，引起STP重新计算，它有可能成为STPRoot,因此所有流量都会流向恶意软件主机,恶意用户可做包分析。局域网交换机应具有Rootguard（根桥监控）功能，可以有效防止其它Switch成为STPRoot。本项目我们在所有允许二层生成树协议的设备上，特别是接入层中都将启动RootGuard特性，另外Nexus5000/2000还支持BPDUfilters,BridgeAssurance等生成树特性以保证生成树的安全和稳定。Page83of83 比亚迪数据中心建设方案佳众联科技还有一些恶意用户编制特定的STP软件向各个Vlan加入，会引起大量的STP的重新计算，引起网络抖动，CPU占用升高。本期所有接入层交换机的所有端口都将设置BPDUGuard功能，一旦从某端口接收到恶意用户发来的STPBPDU,则禁止此端口。（三）防止ARP表的攻击的有效手段本项目大量使用了三层交换机，在发送数据前其工作方式同路由器一样先查找ARP，找到目的端的MAC地址，再把信息发往目的。很多病毒可以向三层交换机发一个冒充的ARP,将目的端的IP地址和恶意用户主机的MAC对应，因此发往目的端的包就会发往恶意用户，以此实现包窃听。在Host上配置静态ARP是一种防止方式，但是有管理负担加重，维护困难，并当通信双方经常更换时，几乎不能及时更新。本期所使用的所有三层交换机都支持动态ARPInspection功能，可动态识别DHCP，记忆MAC地址和IP地址的正确对应关系，有效防止ARP的欺骗。实际配置中，主要配置对Server和网络设备实施的ARP欺骗，也可静态人为设定，由于数量不多，管理也较简单。1.1.1防止DHCP相关攻击本项目中的楼层网段会采用DHCPServer服务器提供用户端地址，但是却面临着几种与DHCP服务相关的攻击方式，它们是：lDHCPServer冒用：当某一个恶意用户再同一网段内也放一个DHCP服务器时，PC很容易得到这个DHCPserver的分配的IP地址而导致不能上网。l恶意客户端发起大量DHCP请求的DDos攻击：恶意客户端发起大量DHCP请求的DDos攻击，则会使DHCPServer性能耗尽、CPU利用率升高。l恶意客户端伪造大量的MAC地址恶意耗尽IP地址池应采用如下技术应对以上常见攻击：·防DHCPServer冒用：此次新采购的用户端接入交换机应当支持DHCPSnoopingVACL,只允许指定DHCPServer的服务通过，其它的DHCPServer的服务不能通过Switch。·防止恶意客户端发起大量DHCP请求的DDos攻击：此次Page83of83 比亚迪数据中心建设方案佳众联科技新采购的用户端接入交换机应当支持对DHCP请求作流量限速，防止恶意客户端发起大量DHCP请求的DDos攻击，防止DHCPServer的CPU利用率升高。·恶意客户端伪造大量的MAC地址恶意耗尽IP地址池：此次新采购的用户端接入交换机应当支持DHCPoption82字段插入，可以截断客户端DHCP的请求，插入交换机的标识、接口的标识等发送给DHCPServer；另外DHCP服务软件应支持针对此标识来的请求进行限量的IP地址分配，或者其它附加的安全分配策略和条件。1.1网络级安全网络级安全是网络基础设施在提供连通性服务的基础上所增值的安全服务，在网络平台上直接实现这些安全功能比采用独立的物理主机实现具有更为强的灵活性、更好的性能和更方便的管理。在本次数据中心的设计范围内主要是访问控制和隔离（防火墙技术）。从比亚迪公司全网看，集团网络、各地机构广域网、互联网、内部楼层、内部数据中心等都是具备明显不同安全要求的网络，按飞地边界部署规则，都需要有防火墙进行隔离。本文档仅讨论数据中心部分内部的防火墙安全控制设计。1.1.1安全域的划分数据中心安全域的划分需要建立在对数据中心应用业务的分析基础之上，因而与前述的虚拟服务区的划分原则一致。实际上按SODC的虚拟化设计原则，每一个虚拟服务区应当对应唯一的虚拟防火墙，也即对应唯一的一个安全域。具体原则如下：l同一业务一定要在一个安全域内l有必要进行安全审计和访问控制的区域必须使用安全域划分l需要进行虚拟机迁移的虚拟主机要在一个安全域中l划分不宜过细，安全等级一致的业务可以在安全域上进行归并，建议一期不超过5个安全域一般可以划分为：OA区，应用服务区，数据库区，开发测试区等。Page83of83 比亚迪数据中心建设方案佳众联科技1.1.1防火墙部署设计各个安全域的流量既需要互访、又必须经过严格的访问控制和隔离，如果按照传统的网络设计，需要在每个网络应用和交换平台之间的边缘部署防火墙设备来进行安全保护，这样需要大量的防火墙，性能也受限于外部连接接口的带宽，还增加了网络管理的复杂度，未来也难以扩展。因此我们应当使用内置于交换机的高性能防火墙模块，可以不考虑复杂的连线而方便的进行安全域划分，容易扩展和管理，也提高了整体性能。如果每个安全域有自己的防火墙，那么每一个安全域就只用考虑自己的一套出入策略即可，安全域复杂的相互关系变成了每个安全域各自的一出一进的关系，这样整个防火墙的策略就变得模块化、清晰化和简单化了。我们在诊断策略的问题时，只要到相关的安全域去看其专用的防火墙所使用的策略，就容易找到问题所在。我们在本次防火墙设计中将充分使用虚拟防火墙技术。这里的虚拟防火墙功能是指物理的防火墙可以被虚拟的划分为多个独立的防火墙。每个虚拟防火墙有完全独立的配置界面、策略执行、策略显示等等，所有操作就象在一个单独的防火墙那样。而且虚拟防火墙还应当具有独立的可由管理员分配的资源，比如连接数、内存数、策略数、带宽等等，防止一个虚拟防火墙由于病毒或其它意外而过多占用资源。仅仅用VLAN一类的技术划分防火墙是无法起到策略独立性和资源独立性的目的的，不属于这里所指的虚拟防火墙。虚拟防火墙还应当配合虚拟三层交换机来使用。每一个安全域可能内部存在多个IP子网，它们之间需要有三层交换机进行路由。但不同安全域之间这样的路由不应当被混同在一个路由表中，而应当每个安全域有自己的路由表，可以配置自己的静态和动态路由协议，就好像有自己独立使用的一个路由器一样。不同安全域相互之间仅通过虚拟防火墙互相连接。因此各个安全域的互连逻辑结构如下图所示：Page83of83 比亚迪数据中心建设方案佳众联科技最终应当达到虚拟化数据交换中心的使用效果。即交换机的任何物理端口或VLAN端口都能够充当防火墙端口，同时每个安全域有自己独立虚拟路由器，自己独立的路由表和独立的动态路由协议。每个安全域对应有一个自己专用的虚拟防火墙，每个虚拟防火墙拥有独立的管理员权限定义安全策略和使用资源。不同安全域的管理员只负责本区域虚拟防火墙的策略控制管理，而不用关心其它虚拟防火墙的配置工作，避免了单一区域安全策略配置错误而对其它区域可能造成的影响，从根本上简化大型数据中心管理维护的难度。对防火墙模块的物理和逻辑的部署请参见前面“智能服务机箱设计”一节。1.1.1防火墙策略设计不同安全域之间的访问控制策略由于虚拟化设计而只需考虑各个安全域内出方向策略和入方向策略即可。建议初始策略依据如下原则设定，然后根据业务需求不断调整：l出方向上不进行策略限制，全部打开l入方向上按“最小授权原则”打开必要的服务Page83of83 比亚迪数据中心建设方案佳众联科技l允许发自内部地址的双方向的ICMP，但对ICMP进行应用检查（Inspect）l允许发自内部地址的TraceRoute，便于网络诊断l关闭双方向的TCPSeqRandomization，在数据中心内的防火墙可以去除该功能以提高转发效率l减少或者不进行NAT，保证数据中心内的地址透明性，便于ACE提供服务l关闭nat-control（此为默认），关闭xlate记录，以保证并发连接数l对每个虚拟防火墙的资源进行最大限定：总连接数，策略数，吞吐量l基于每个虚拟防火墙设定最大未完成连接数（EmbryonicConnection），将来升级到定义每客户端的最大未完成连接数1.1.1防火墙性能和扩展性设计本期项目建议采用的防火墙模块是具有5.5Gbps吞吐量、100万并发连接数、每秒10万新建连接数能力的高端防火墙系统。如下表所示：表FWSM性能和容量特性最高性能/配置综合性能5.5Gbps3Mpps100万条同步连接每秒100,000条HTTP/HTTPS连接256,000当前NAT和PAT转换全局配置VLAN接口每个服务模块1000个路由模式下每个虚拟防火墙256个VLAN透明模式下每个虚拟防火墙8对VLAN对Page83of83 比亚迪数据中心建设方案佳众联科技接入控制列表在单一虚拟防火墙模式下最多为80,000个ACLs虚拟防火墙20、50、100或250个虚拟防火墙许可证虽然在双活模式下，本项目的防火墙系统最大可以提供高达11Gbps的吞吐量，但作为未来的数据中心防火墙系统，我们认为还应当具备完全线性的吞吐量能力。幸运的是在本次提供的最新一版防火墙模块中，我将提供高达32Gbps的单模块吞吐能力，甚至以后可以扩展到300Gbps以上。这需要在防火墙模块上实现思科的最新技术：SUPAcceleration（引擎加速）。在数据中心大数据量交互中，最占据防火墙处理开销的不是黑客攻击、越权访问等这些被拒绝的流，而是存储、备份、文件传输、虚拟机映像加载、内存同步等等大带宽消耗的正常应用的可信任流，它们的特点是在持续稳定的TCP连接或UDP会话中以最大的可传送能力（BestEffort）进行数据传送，往往可以侵占巨大的带宽，传统的防火墙对这类流量都会逐包进行检查处理，将导致防火墙内部处理的拥塞。思科的新一代防火墙模块可以实现“借用”交换机的资源提高防火墙模块自身的吞吐性能。实际上防火墙可以对一个流的前几个包进行处理，当得到这个流是可以通过的信任流的结论后，将这个流的特征提取出来送给交换机，交换机就用这个特征对流的后续包进行识别和处理，相当于这个流的后续部分交给交换机来完成了，这样交换机的资源和防火墙的资源实现真正的融合，大大提高的安全访问控制的处理速度，以前单个防火墙模块可以实现实测的5.5Gbps的吞吐量，而在使用资源整合技术之后，这个数值实测已经达到32Gbps，而且可以软件升级到300Gbps以上的防火墙模块。这正是面向服务的数据中心对资源整合化的典型技术实现，也为客户带来的资源融合的益处。我们在全球多个大型数据中心的实际使用环境中通过调查发现，除去这些“可信任流”，其余流量使用防火墙本身的5.5Gbps处理能力都是绰绰有余的，因此在本项目中一期工程中即使不采用双活的智能服务机箱，也足以保证防火墙环节的无瓶颈。未来还可以通过2个防火墙模块的双活，甚至使用虚拟ACE实现4个防火墙模块的双向负载均衡。Page83of83 比亚迪数据中心建设方案佳众联科技1.1网络的智能主动防御传统的不停的打补丁和进行特征码升级的被动防御手段已经无法适应安全防御的要求，必须由网络主动的智能的感知网络中的行为和事件，在发生严重后果之前及时通知安全网络管理人员，甚至直接联动相关的安全设备，进行提早措施，才能有效减缓危害。要实现这种智能的主动防御系统，需要网络中进行如下部署：·对桌面用户的接入进行感知和相应措施·对桌面用户的行为进行分析和感知·对全网安全事件、流量和拓扑进行智能的分析、关联和感知·对各种信息进行综合分析然后进行准确的报告·在报告的同时进行网络的联动以提早抑制威胁以上整个过程需要多个产品进行部署才能实现。以下对这些产品的部署进行简述。1.1.1网络准入控制网络准入控制技术——NetworkAccessControl（NAC），就是一种由网络智能对终端进行感知，而判断其威胁性，从而减少由终端发起的攻击的一种技术。NAC类似于前面提到的身份识别安全接入控制技术，只不过它对主机、网络设备等接入的判别标准不仅仅是基于用户身份的，而是基于该设备的“网络健康状态”。NAC允许各机构实施主机补救策略，将不符合安全策略要求及可疑的系统放置到隔离环境中（比如一个特定的专用于软件升级的VLAN），限制或禁止其访问生产网络，等威胁消除后，再回到生产网络。通过将端点安全状态信息与网络准入控制的执行标准结合在一起，NAC使各机构能够大幅度提高其计算基础设施的安全性。在比亚迪公司实施的准入控制，需要能够实现以下要求：·一体化的准入控制：不仅仅是有线端的准入控制，而且要实现包括无线、VPN接入在内的准入控制，而且应当是统一的一个系统下的准入控制，这就需要以太网交换机、无线AP设备、无线控制器、VPN集中器都可以支持统一的准入控制；·支持多种准入控制形式：包括能够支持基于Infrastructure的准入控制，比如对于有线局域网、无线局域网可基于实现IEEEPage83of83 比亚迪数据中心建设方案佳众联科技802.1x和动态VLAN的准入控制，对于路由器、防火墙、VPN集中器等等可实施基于过滤机制的准入控制，也可以支持基于网络专用设备的准入控制，比如对于网络交换机、路由器是由不同厂商品牌设备构成的异构网络也可以实施基于专用在线设备的准入控制；·与身份标识相结合：准入控制机制应当与身份标识是一体化的，不同身份标识的用户可以有相应的准入控制策略，即对身份的识别和对健康的检查可以进行联系；·独立对客户机健康状态进行评估：能够结合其它病毒厂商软件进行安全状态检查，更可以独立对客户端行为进行检查，包括操作系统补丁、病毒软件版本等，还应当包括检查注册表可疑记录、非法修改等等，能够通过对客户机状态进行深度判断，而基本上脱离复杂的第三方厂商病毒软件的部署而独立对健康状态进行准确评估。·提供自动修复：准入控制系统应包括提供在线的自动修复能力，包括各种策略的软件分发和链接推送等。·能够发现和自动识别打印机、IP电话等非常规NAC客户端本期将主要以数据中心的建设为主，建议比亚迪公司在以后的楼层接入的完善化建设中考虑对桌面的准入控制解决方案。1.1.1桌面安全管理准入控制是一种网络对接入主机的智能判断，但一般只能在接入的瞬间进行检查和动作，用户在接入后进行的操作、收发的信息，准入控制系统不再干预。而网络各种病毒、蠕虫和黑客软件的泛滥与每个客户机本身的上网行为是分不开的。一个大型企业网的管理员无法真正控制用户端的行为，是网络变得脆弱和事故频发的主要祸首，也是管理员最头痛的问题。比亚迪公司随着将来IT业务的深化发展，需要这样的桌面安全管理软件——基于行为特征来保护终端的技术。客户端软件是基于行为而不是基于特征码标记的，即不管这个病毒是不是我识别库里的，只要其行为危害了系统，就可以被阻止，客户端软件看行为进行专家级的分析，这样可以减少频繁的对客户端软件的升级，更重要的是能够防止终端免受所谓“零日攻击”，即那些还未被人们所了解的病毒、蠕虫、间谍软件、恶意代码以及最新的变种的危害，另外还能基于应用程序、行为实施各种安全策略，对用户本人进行的有意或无意的系统危害进行管理和控制。具体应当有如下功能：·识别恶意或无意的不安全行为：Page83of83 比亚迪数据中心建设方案佳众联科技对各种威胁行为，比如不支持的注册表修改、不正常的内存访问、收到对本机端口不正常的扫描、对邮件系统不正常的后台调用等等，无论是病毒还是用户有意或无意造成的，都可以即时提示用户进行阻止，也可以不提示用户，而是作为一条Log信息报告给后台的安全智能网管。·自动统计PC上安装了哪些应用程序：能统计客户机器上都安装了哪些应用程序，以及安装的版本。如是否安装了BT等软件。然后向后台安全智能网管报告。·调查应用程序的运行情况：能统计哪些应用程序在运行，并生成相应的报表报告给后台智能网管。·禁止安装和运行管理员指定的应用程序：能够禁止客户机安装和运行不符合公司策略的应用程序，比如BT，钓鱼软件等。·保护敏感数据，不允许复制、拷贝：被保护的文件可以打开阅读，但是不能复制，无论是复制文件或文件夹，都不允许，也不能从文件中拷贝、粘贴内容出来，所以是非常好的防止机密信息泄漏的方法。·禁用USB等移动设备：USB、光驱等各种可移动设备，常常是引入病毒、风险的入口。客户端管理软件应当可以设定不允许特定的客户机上的这些设备，或者只能看设备上有什么内容，但是不允许读。只有当管理员授权时，才能使用和访问。·统计并能够控制应用程序对网络使用：可以统计应用程序对网络的使用情况，提供对应用程序使用网络的控制，比如可以让制订应用的IP包打上QoS标记，禁止访问指定的网段，禁止邮件附带机密文件等等。·能够和准入控制相结合：能够和准入控制无缝结合，比如准入控制对终端健康的识别包括了是否安装了客户端安全管理软件，是否制订了相应安全级别的策略；反过来，客户端安全管理软件也可以根据准入控制的结果（是隔离还是已被允许进入网络）来提供不同的安全保护策略。·中央集中控管：客户端管理软件由中心进行软件分发，由中心网管进行统一策略设置、维护和升级，集中控管，维护简单。·后台报警、报表：所有以上功能都即时跳出窗口，让用户了解安全威胁，询问用户是否阻止，也可以让用户在使用时完全无知，而把详细的使用情况报表、报警等通过后台传送给集中控管的智能安全网管控制台，使管理员对整个用户网络使用情况一目了然，而提早采取措施。以上的功能由一个集中控管的服务器端管理软件和分布在各个用户主机上的客户端软件构成Page83of83 比亚迪数据中心建设方案佳众联科技。通过中心策略设置，将客户端软件分发到各个客户端主机，将工作模式设为后台告警和报表模式，减少对前端用户正常工作的干扰，而让管理员了解所有计算机的安全运作情况，再根据这些信息确定安全预防措施。建议在以后逐步实施的楼层网络优化和改造项目中再实施类似对客户端桌面的管理和控制。1.1.1智能的监控、分析和威胁响应系统比亚迪公司已经部署、而且还将部署大量的各种安全设备，它们的使用都需要人来去参与，这形成了巨大的安全管理挑战。当一个常见的蠕虫早期发生时，相关的网络设备、防火墙、IDS/IPS都会有异常记录产生，而这些都会淹没数以万计的日志和告警之中，管理员很难发现，往往等待其爆发、形成损失再去调查。而即使我们能够把爆发过程所有信息都拿到，也难以从如此多的设备、如此多的记录中分析其爆发的源头。比亚迪公司网管中心需要一个智能的安全管理系统，它应当象一个精通所有网络安全设施的专家，由他来帮助我们进行早期预警、源头跟踪、措施建议等等。安全监控、分析和威胁响应系统”（Monitor,AnalysisandResponseSystem，MARS）具体应当包括这样的功能：·监控安全设备：MARS系统能够监控所有安全设备形成了日志、记录和告警，进行收集；·监控网络拓扑形态：MARS系统能够了解整个网络拓扑、设备类型和路由表、地址表等等信息；·监控网络流量：MARS系统能够监控网络中的各种流量，比如某个特定TCP/UDP端口号的流量变化，能够采集设备的Netflow信息，进行统计、形成日常基线，从而能够识别异常流量；·监控网络设备：MARS系统能够监控各种厂商的网络设备的记录，包括路由器、交换机、VPN设备、NAT等等；·统一进行分析功能：MARS把以上的所有监控信息统一进行分析，特别是和网络的拓扑和异常流量相关联，从而将各种看似分离的事件相关联，把各种重复的、错误的报告删除，最后把浩如烟海的问题报告浓缩成少量的安全事故报告，供管理员参考。往往数十万个告警最后仅剩下十几个高中低不同优先级的事故报告。·形象的呈现：最后的事故报告可以向管理员清晰的描述攻击的源、路径、目标，攻击次数等等，并且在网络拓扑图中将上述信息标识处理，供管理员参考。·智能专家建议：Page83of83 比亚迪数据中心建设方案佳众联科技根据发生的安全事故，MARS可以向管理员进行智能建议，比如对拓扑和路径智能分析后告诉管理员应在何处最佳位置进行过滤，过滤应采用的访问控制列表的具体命令等等。·远程修复：通常MARS可以自动形成多个措施建议，供管理员选择，一旦管理员同意某个措施，这个措施，比如写一个访问控制列表或关闭一个端口，就会自动被发向目标设备，自动完成修复。·兼容各厂商设备：MARS应当可以对各个主流网络设备厂商、安全设备厂商的设备都能予以支持，对于少量非主流的厂商设备MARS可以经过简单的定制予以支持。MARS必须有别于上一代的安全信息管理系统（SIMS），需要增强如下功能：·信息收集和关联的方式：MARS监控的内容不仅仅是安全设备的记录，还包括网络的拓扑和流量信息，把这些与安全事件相关联所进行的判断更准确；·信息报告的方式：MARS可以显示整个网络的拓扑，能够把攻击形象的标识在拓扑图上，管理员可以清晰的掌握网络安全威胁波及的源头和范围，从而主动的进行防御；·修复的智能化和自动化：MARS可以直接建议安全措施，甚至将安全措施具体表现在命令一级，管理员只需要按一个按钮，就直接进行远程设置和修复。下图是直观的攻击拓扑显示。Page83of83 比亚迪数据中心建设方案佳众联科技下图是对攻击源所在位置的直观显示：下图是MARS对抑制该攻击的建议，只需点击Push，就可以对攻击源所在的交换机进行设置，帮助你抑制正在发生的攻击。建议将来在比亚迪公司考虑全局网络运营管理时应部署MARS系统，而且在部署MARS时应同时部署与MARS兼容的网络状态监控设施，这些设施包括IDS/IPS、防火墙、网络设备、流量监控设备等。建议比亚迪公司在未来部署网络状态监控设施时Page83of83 比亚迪数据中心建设方案佳众联科技应当考虑如下部署原则，以保证MARS系统作用的充分实现：·IDS/IPS要求：作为MARS信息的主要来源，比亚迪公司的楼层局域网应部署硬件IDS以监控核心局域网，一二级网络之间应部署硬件IDS以监控国家级主干和省级的接入，IDS应当为内置或至少1G连接带宽的外部IDS；广域网的接入路由器应支持内置或外部IPS，但要保证一定性能。·防火墙要求：按前面安全域隔离方案部署防火墙，防火墙应有完整Log记录和NAT记录，能够和MARS兼容。（目前推进的数据中心防火墙方案满足此要求）·网络设备要求：网络主干设备应当具有硬件化的流量华能芯片或模块，能够支持Netflow硬件化采集，并能够在万兆核心交换板卡上提供1：1的取样（Sampling）能力。网络设备还应当对主要的安全事件（如ACL过滤、NAT等）提供Log和审计。（目前Nexus7000完全满足此要求）·兼容性要求：主要网络设备（IDS、防火墙、中高档路由器和交换机等）应当能与MARS系统兼容，其监控信息报告无须定制即可被MARS系统直接使用，也可以接受MARS系统的控制以实现安全响应。对于其它少量不兼容设备，MARS系统应可以支持通过定制化方式监控和管理。（目前Cisco设备、主流国外厂商设备可以满足此要求，国内厂商设备需要定制）Page83of83 比亚迪数据中心建设方案佳众联科技第1章服务质量保证设计1.1服务质量保证设计分类比亚迪公司本次网络的服务质量保证（QoS）设计主要包括两个方面：l数据中心服务质量设计：由于采用DataCenterEthernet技术，因此主要是DCE以太网QoS设计；l传统局域网广域网服务质量设计：这一部分业务类型复杂，包括业务数据、IP电话、视频会议等等，加上传统局域网和广域网技术都有自身机制和带宽资源的制约，因此是QoS设计的重点，这部分将主要是IPQoS设计。1.2数据中心服务质量设计本次数据中心采用DataCenterEthernet（DCE）技术，DCE的设计目标之一就是为未来大型数据中心的业务提供传输保障。我们知道衡量QoS质量的四个要素是：带宽，延迟，延迟抖动和丢弃率。在资源整合后的面向服务的数据中心中，对带宽、延迟和丢弃率的要求是非常苛刻的，因此要达到新一代数据中心的设计目标，必须使DCE能够满足对带宽、延迟和抖动的服务质量要求。1.2.1带宽及设备吞吐量设计保证在资源整合后的网络传输带宽和网络设备吞吐能力，必须实现以下DCE设计：1.2.1.1.设备吞吐能力选择的设备必须能够提供足够的交换容量，Nexus7000具备4Tbps的交换吞吐能力，每插槽230Gbps（可扩展500Gbps）；在接入层设备选择上采用接近1.2Tbps交换能力的Nexus5000，并使用交换延展设备Nexus2000将这一交换能力线性延展到每个服务器机柜。1.2.1.2.带宽设计首先要在数据中心的拓扑设计中规划好带宽。在本次设计中接入层的每列机柜基本上保证每服务器接入网络的线速，这是依靠每台柜顶交换机（Nexus2000）上连时的4个万兆链路捆绑后所提供的带宽保证，另外Nexus5000的1.2Tbps交换能力也保证了所有万兆汇聚后的无瓶颈处理。Page83of83 比亚迪数据中心建设方案佳众联科技数据中心当前最大规模的带宽占用还是在服务器之间的内存同步、并行计算、数据备份和融合SAN之后的存储访问，如果能够将未来支持FCoE的存储机柜设计在Nexus5000接入，其它万兆网卡的高性能服务器直接在Nexus5000所在机柜接入，并保证服务器机柜分配得当的条件下，以上大量资源耗费的处理都可以在接入层的同一对Nexus5000内完成，因此基本可以保证带宽的线性处理。而接入层到数据中心汇聚层（Nexus7000的VDC）的连接中是有一定过载，这些过载也只针对跨越两对Nexus5000即两个列（也可称为POD）之间的流量，当前每对Nexus5000到7000之间采用4个万兆，在万兆端口数量不紧张的情况下还可以扩容并保证跨机箱的vPC技术实现充分负载均衡的端口捆绑。而考虑到当前服务器数量远没有达到完全过载数量（充分过载是640台全线性1G的服务器接入），而且在适当安排服务器后两列之间的流量基本上非常少，大部分带宽消耗型应用将在列内完成，因此当前的过载比是完全满足当前和至少今后5年内的数据处理量要求的。数据中心服务机箱（Catalyst6500）和数据中心汇聚（Nexus7000VDC）之间当前的设计带宽是每机箱双万兆上连（40Gbps全双工吞吐量），这个数值已经超过当前每个机箱内的单防火墙模块在引擎加速特性下的吞吐能力（32Gbps）和单ACE模块的最大处理性能（16Gbps），因此也没有连接瓶颈。在以后智能服务扩容时，互连的带宽还可以继续扩容，通过vPC和VSS技术保证跨机箱捆绑的充分负载均衡。从数据中心汇聚到全网核心（Nexus7000的VDC之间）则可以通过灵活的万兆线路跳接方便的扩容互连带宽，根据整个股份公司对数据中心访问量的评估，当前的互连方式（全双工超过80Gbps）也是完全满足至少5年的业务发展需求的。1.1.1.1.DCE带宽管理：在以上的理论分析中，带宽设计已经完全满足本次设计的需要，但是我们可以看到即使最完美的设计也不可能保证网络中处处线性、没有过载，这是不必要也不经济的。在出现过载的位置，我们可以通过技术手段使得最需要带宽的服务能够保证优先获得资源，这也是服务质量保证设计的重点。在本次推荐的DCE网络技术中已经完全支持IEEE最新的带宽管理技术802.1QazETS（EnhancedTransmissionSelection）Page83of83 比亚迪数据中心建设方案佳众联科技，该技术可以保证在过载情况下优先保证如高性能计算网、存储网流量的带宽，而一般数据业务可以灵活、高效的使用剩余有效带宽，如下图所示11G对10G过载情况下的QoS优化带宽分配：1.1.1低延迟设计DCE的资源汇聚使得存储业务和高性能计算业务都将在一个交换平台上传送，DCE的一个重要要求就是保证这些网络原来的低延迟、低抖动能力一样可以在以太网上获得，这主要依靠设备的低延迟转发特性和在拥塞情况下高级的队列调度来实现。在本期所推荐采用的Nexus系列交换机最大特点就是使用了Cisco在MDS系列存储交换机上实现的SAN网络低延迟技术和专利，使以太网交换机获得了极低的转发延迟，三层端口对端口的转发延迟可在10～20us，而二层的端口见转发延迟可在3个us以下。充分保证远程存储读写、远程内存访问的流畅性。与带宽设计时一样，网络不可能在任何位置都通过充裕的资源，在适当的进行带宽分配和设计后，在许多关键的位置虽然存在过载，但仍不会带来资源的紧张。但仍可能出现突发和不可预测的资源分配不够的问题，这时就需要采用高级的队列管理和调度，对延迟不敏感的业务主动出让一些资源，以保证对延迟极为敏感的业务服务质量不受影响。在以太网上协调资源实现类似流量控制的很早就有，比如最常见的端口暂停帧机制（IEEE802.3Annex31B），当有拥塞发生时通过互连端口信息的传递，让端口流量发送暂缓，以保证自己有足够的资源处理关键业务。而这种传统的控制方式将导致一个物理端口内的所有业务的暂停，导致不可预料的延迟。Page83of83 比亚迪数据中心建设方案佳众联科技本次我们采用的DCE网络支持IEEE最新的PriorityFlowControl(IEEE802.1Qbb)技术，如下图所示，可以对多达8种不同业务给与完全不同的流量区别，从而保证迫切需要资源的存储、访存类业务流的低延迟优先性。8类业务可以常规QoS的802.1Q优先标识和IPPrecedence优先标识进行统一定义。1.1.1无丢弃设计资源缺乏会导致系统对业务进行丢弃，而存储业务、高性能计算业务等是对丢弃极为敏感的，由于业务机制对延迟和成功率的苛刻要求，即使少量的丢弃也会对业务效率产生极为严重的影响。DCE有“无丢弃以太网”的别称，就是在许多方面改善了传统以太网易于丢弃的简单流控行为。主要表现在以下方面：lSwitchFabricVoQ：这是SAN交换机的交换矩阵以及运营商核心设备所广泛采用的矩阵队列调度方式，现在该技术广泛使用在DCE的各级设备，有效的避免在设备交换处理时的头端堵塞现象，保证高优先级流量的无丢弃。l硬件化的Credit机制：这也是传统SAN交换机在硬件上保证的传输无丢弃技术，它通过收发双方能有一个互相沟通收发能力的计数器相互协商对方的发送和接收能力，以一种高效沟通的方式保证在底层传输上的无丢弃。现在该技术以在DCE的各级交换机上采用，保证收发以太网帧可以象过去收发存储FC帧一样做到无丢弃。Page83of83 比亚迪数据中心建设方案佳众联科技lPerVirtualLane(VL)Credit：上面的技术是物理端口级别的，在DCE中还将这种硬件Credit技术用在端口内的VirtualLane级别，这意味着在同一收发双方的物理口内，可以实现不同业务采用不同Credit参数，实现不同的流控要求，比如传统数据不进行这种机制以节约资源，而FCoE帧则必须使用该机制，而它们都将在一对收发物理接口内共存。lBCN/QCN(IEEE802.1Qau)：这是一种后向拥塞控制机制，它最大的特点是可以在网络中检测出拥塞，然后发信令到源头，来降低过载的流量，使拥塞得以缓解，并保证优先业务无丢包。该技术曾用于ATM等精细流量管理的网络中。如下图所示。1.1非数据中心网络的服务质量设计为了保证比亚迪公司非数据中心网络部分的关键应用，将对应用按重要等级进行分类，在网络上，实现对不同等级的应用提供优先权不同的质量服务。实时多媒体应用如IP电话、视频会议等应用将给予绝对的保证，而对一些不十分紧要的应用，在网络带宽充足的情况下将予以保证，在网络带宽不足的情况下，将预先舍弃，以保证关键应用。比亚迪公司局域网和广域网需要具备提供数据、图像、语音、传真和各种多业务综合承载和接入能力。信息传递的服务质量保证和性能优化设计将是最为关键的一个环节，它直接影响到华能系统应用的稳定。实际上IP网的两个技术根源——以太网和TCP/IP是众所周知的“无服务质量保证技术”Page83of83 比亚迪数据中心建设方案佳众联科技，所谓无服务质量保证不是指服务的质量一定不好，而是在技术本质上只考虑数据的可达性、正确性，并没有机制去考虑数据递送中诸如延迟、延迟抖动等服务质量要素，因而又称之为“尽最大努力”（BestEffort）的传送方式。随着网络技术的不断发展，今天的华能网络已从单一的数据传输应用转向了综合的多媒体应用，如IP电话业务应用、视频应用等。这种转变引发对包括网络带宽、性能和灵活性在内的网络服务质量的大量需求，因而也产生了大量高新技术和产品。如何利用TCP/IP、以太网高效和通用性来传输要求较高服务质量保证的业务、如何在比亚迪公司各级网络中进行设计和部署性能优化特性就是这里将要重点说明的。实际上即使使用IP和以太网技术原本的BestEffort传送方式只要在资源充足的情况下用户也不会感到有服务质量的问题。因此只要网络资源充裕，语音、视频、传统应用等等各种用户都不会抱怨网络的传送，但是无限制的资源是不现实的，更多见的是突发和不可预测性造成的资源的局部紧张，在这样的网络中保证各种业务有它们最佳的服务质量才是性能优化设计的最终目标。在比亚迪公司网络上有3种实现服务质量保证的思路：（1）提供充裕的资源：这需要有高容量的吞吐能力、极低的转发延迟和充裕的带宽，在BestEffort环境里，即使不能提供无限丰富的资源，也需要网络尽可能的少的出现拥塞或至少不在关键部位（如骨干）出现拥塞，这需要精细的设计；（2）拥塞处理机制：万一发生了拥塞，采用何种技术处理，如Email延迟几秒钟到达没有用户会抱怨，而视频会议如果出现这样的问题就很严重了。因此如何使视频、语音、实时交互软件感觉不到拥塞则是需要在拥塞发生时处理的主要问题；（3）拥塞规避：等到拥塞发生再进行的处理，对于容量大、要求延迟低而且对延迟抖动要求极为苛刻的视频应用来说可能已经来不及了，换句话说对于大规模视频流应用而言仅仅依靠拥塞处理机制是不可能达到预期效果的，必须对这些特殊应用的流量施行“拥塞规避”措施，即采用某种机制保证它们不拥塞（即使网络资源不是极大丰富的前提下），而其他业务使用它们使用剩余的资源。以上解决手段不是孤立出现的，下面针对以上三个思路分别介绍在比亚迪公司各级网络实现IPQoS的方式。1.1.1QoS实施方案我们通常按以下步骤来考虑QoS的实施：Page83of83 比亚迪数据中心建设方案佳众联科技·步骤1：分析业务需求·步骤2：QoS策略的制订和部署·步骤3：评测和调整1.1.1分析业务需求首先我们需要了解比亚迪公司网络中存在哪些应用、其流量特征基线和未来发展情况，其次我们需要了解每种应用的服务质量特性和需求。根据我们对比亚迪公司业务的了解，我们认为比亚迪公司存在视频会议应用、语音业务应用和各类不同档级的数据业务。我们需要在实施前对网络所存在的这样业务现有情况进行流量基线调查，包括其细致的应用所占带宽比例，使用频度，未来的增长趋势等。这需要依靠协议分析设备（比如比亚迪公司已有的网络协议分析模块）、网络设备的Netflow/Netstream功能（这在前面建议的设备中都具有了），然后作出一个类似下图的分析：（此图仅是示例，不代表比亚迪公司网络的实际情况，实际情况需要在实施前使用上述工具进行统计）Page83of83 比亚迪数据中心建设方案佳众联科技在充分了解后当前各业务，特别是构成复杂的数据业务后，制订各个业务的QoS需求。以下做各个业务需求的示例：Page83of83 比亚迪数据中心建设方案佳众联科技其中数据业务最为复杂，我们只能根据一个大致的分类，将不同优先级的应用归入相关的类别，以后再逐步调整。1.1.1QoS策略的制定和部署Page83of83 比亚迪数据中心建设方案佳众联科技QoS的策略我们遵循Diff-Serv框架所规定的分类、标识、调度、供给的流程准则。如下图所示，不同的网络区域被Diff-Serv框架赋予不同的责任，因此也要在其位置赋予不同的QoS策略。上图把网络分为分类标识区、QoS调度区和广域网供给区。该区域划分规则广泛适用于比亚迪公司各级局域和广域网络。下面我们分别说明QoS的策略制订：1.1.1.1.分类和标识区分类和标识区位于网络边缘。在本项目中基本上是局域网的接入层，以及前面提到的省级广域网上下连路由器之间、市级广域网上下连路由器之间的拥有丰富局域网端口的汇聚层。在此处我们要标识各种应用进行标识，比如802.1p、DSCP（DiffServCodePoint）、传统的IPPrecedence等等，利于后续的QoS调度。我们对上述各类应用的标识要求如下表所示：Page83of83 比亚迪数据中心建设方案佳众联科技我们建议尽可能根据局域网端口进行标记，只要是该端口进入的流量即作相应标识，这种分类和标识方式占CPU资源少、性能影响小，比亚迪公司视频终端的接入、特定的应用服务器的接入都可以采用这里的分类和标识方式。还有一类业务是在应用级就做好了标识，比如IP电话，在音频流出IP电话机端口时相应的标记就已经打好。如果设备的物理端口进入的流量混杂有多种复杂的应用，要打不同的优先级标识，我们推荐两种方法：一个是利用桌面安全管理系统的应用标识功能（在“安全服务”一章有详述），直接在主机内进行标识；还可以在网络设备内根据该业务流的特征（比如协议端口号）进行标识。前者需要安装桌面安全管理软件，后者需要设备支持基于硬件的流分类匹配技术，才能不影响性能。接入层网络设备应当支持边缘端口对进入流量所打的标记是否信任进行设置，比如连接的是IP电话，则信任其设置的标识，如果是普通的客户端，则不信任，将其标识重置为BestEffort，这样可有效防止客户端欺骗。另外局域网设备应当支持一套默认的二层和三层标识的转换映射，比如MAC帧内的CoS对IP包内的IPPrecedence的映射，如果不能默认支持，那么将极大的增加管理和配置工作量。1.1.1.1.QoS调度区Page83of83 比亚迪数据中心建设方案佳众联科技QoS调度区是数据流传送所经过的网络主体，包括各级局域网和广域网路由器。我们只需要识别流量中做好的标识，根据标识进行资源的调度。由于局域网和广域网在资源供给上的巨大差异，因此它们的调度措施是完全不同的。（一）局域网在局域网上我们认为提供充裕资源的条件是具备的，如果有明显拥塞，首先应检查其局域网设计是否合理，增加带宽、升级设备对于现在的局域网而言所花费的代价和得到的效果远远优于复杂的设计所花费的代价和得到的效果。在高速的局域网上的过于复杂的QoS调度反而有可能降低总体性能。但局域网设备仍应当默认支持一些高效率、低开销的调度算法，比如根据标识优先级加权的WRR队列分配算法；根据标识优先级加权的拥塞规避算法（WRED）。前者各级二层局域网设备应当默认启动，后者可以人为配置给金、银业务中基于TCP的数据业务。（二）广域网广域网路由器是部署QoS的重点。我们对各类业务部署的策略如下：（1）视频业务：根据标记识别视频业务，将视频业务按CBLLQ（Class-basedLowLatencyQueue）进行调度，给定视频业务的管制带宽，管制带宽为该业务所占带宽资源的上限，以防止绝对优先业务膨胀侵吞所有资源，比如广域网为视频专门预留2M×2，视频业务的管制带宽建议设为为3M（4M的75％），为一些隐蔽的系统流量（比如路由器协议、Keepalive等）保留一些带宽；（2）音频业务：根据标记识别音频业务，将音频业务按CBLLQ进行调度，给定音频业务的管制带宽为其能够容纳的话路数乘以每路话路的带宽（在前期业务分析中已得出）。注意，路由器应当支持利用H.323的呼叫允许控制(CAC)功能控制VoIP的话路数，从而到达控制VoIP占用带宽的目的，而不是去尽量容纳所有的话路而导致所有话音质量下降；（3）数据业务：根据标识识别金服务、银服务、铜服务和剩余资源，为每种服务施加CBWFQ保证其“拥塞带宽”，并同时实施基于DSCP的智能丢弃（CBWRED）。·Page83of83 比亚迪数据中心建设方案佳众联科技CBWFQ：CBWFQ保证了拥塞带宽，是拥塞处理算法。拥塞带宽是指当出现拥塞时能为该业务所至少能保证的平均带宽。所有拥塞带宽和前面所说的管制带宽之和尽量不要超过广域网线路实际物理带宽的75％，以便为系统流量（路由协议、Keepalive等）预留一些带宽。金服务和银服务的带宽根据其实际带宽占用比例进行设置（前面的业务需求分析中得出的带宽比例），一般金服务的带宽更充裕一点。而铜服务和剩余资源的拥塞带宽都为0，即没有带宽保证。·CBWRED：CBWRED替代了原有的队尾丢弃，而变为加权随机早期丢弃，这是拥塞规避算法。金服务比银服务的丢弃概率要低一些，银服务比铜服务的丢弃概率低一些，而剩余资源是丢弃概率最大的一类服务。1.1.1.1.广域网供给区广域网供给区是指广域网线路的传送部分，我们要考虑广域网线路的带宽、传送质量、传送延迟等对各类业务的影响。（一）带宽第一步的“业务需求分析”是广域网带宽申请的主要指导，另外在QoS调度时需要注意两个原则，最高优先的业务量（比如LLQ的业务的管制带宽）不应当超过物理带宽的33％，所有CBWFQ的拥塞带宽和CBLLQ的管制带宽之和不要超过物理带宽的75％。根据这些规则，在广域网中，我们应当把两种LLQ业务——语音和视频分在两个线路上，其中语音和其它业务在DS3线路，而视频单占2M×2线路。只有一条线路故障、所有业务才会走到一条线路上。正常情况视频独占4M线路，因此可以允许视频的LLQ管制带宽超过33％而达到75％（3M）。（二）传送质量我们要考虑广域网线路的质量，以满足业务分析中所要求的丢弃率指标，在申请线路时索要线路质量评估报告，以保证其符合我们线路上所传送业务中要求最高的那种业务的质量要求。（三）延迟在线路上的延迟由串行延迟和传送延迟构成。串行延迟是指数据包要串行化发送所不得不发生的延迟，比如一个1500字节的包在64K线路上传送，必须将1500字节一个比特一个比特的放到线路上传送，这需要耗费1500×Page83of83 比亚迪数据中心建设方案佳众联科技8/64000＝187.5ms，仅串行延迟就超出了语音的单程延迟150ms以内的要求。因此即使业务拥有了最高优先级和绝对优先发送权，也无法避免夹在大包之间发送，只要前面有大包，在低带宽线路上也会出现过大的延迟抖动。因此我们需要将大包分解成小包交替放到线路上发送。在广域网上，线路带宽都大于2M，经过计算，即使是最大包1500字节其串行延迟也非常低，没有必要分解传送，而在其它广域网如果带宽过低，则应当分包传送，请参考下表的分包值（表中的值是要达到可控延迟标准在相应带宽线路上建议的分解后的包大小，红色叉子表示分的包长已大于1500，不需要分包了）还有一类传送延迟，指在线路上传送信号所耗费的时间，仅在距离超长（比如卫星线路）上会有此问题，此处不需讨论。1.1.1评测和调整QoS的部署是一种调优的部署，需要不断调整以达到最佳。但我们怎样评估刚刚部署的策略是否起到效果了呢？在生产网络上用真实业务进行测量是有风险且无法定量评估的。因此我们需要在网络中实现一套准确的测量和评测方法。我们认为华能网络必须支持以下QoS测量方法：·协议分析设备的测量方法：利用协议分析设备的应用响应时间功能进行测算，比亚迪公司可以购买NAM模块可以实现该功能，可以进一步在关键节点使用该类模块；·IPSLA：这是最重要的QoS测量方法，传统的ping测量无法得到延迟、抖动、丢弃率等信息，而且协议和测量位置都受限，IPPage83of83 比亚迪数据中心建设方案佳众联科技SLA可以从任何支持该功能的网络节点出发测量包括延迟、抖动、丢弃率在内的各种参数，并配合网管形成丰富的统计报表和图形，帮助我们分析QoS结果。比亚迪公司本次改造的主要路由器和局域网核心交换机都应当支持IPSLA功能。网管软件应当支持IPSLA的呈现功能；·Netflow/Netstream：符合标准RFC3954的Netflow/Netstream流量统计是测算特定业务是否获得相应的网络资源的有力方法，但是在高速网络中这种由设备担当的统计会耗掉过多的资源，真正有实际意义的Netflow/Netstream应当是硬件化的，因此比亚迪公司本次建设的所有核心交换机和广域网主干路由器都应当支持通过硬件进行Netflow/Netstream统计。1.1QOS策略管理由于比亚迪公司网络系统分布较广，QoS的策略管理是非常关键的问题。比亚迪公司网络应当从两个方面解决这个问题：·设备本身部署QoS策略的自动化；·集中式的QoS策略管理软件1.1.1QoS自动配置比亚迪公司网络设备应当具有QoS自动配置功能，即只需要键入简单命令，便可以形成人机对话界面，自动生成QoS策略配置命令行。大大简化QoS的部署。1.1.2QoS策略管理器解决方案另外比亚迪公司还需要有一套功能强大、行之有效的集中式QoS策略管理软件对全网的QoS进行管理，这样可以大大提高网络维护的质量，降低维护成本。QoS策略管理软件应当具有如下的功能：·集中策略控制：一个集中的、覆盖整个网络的策略数据库消除了在路由选择和交换环境中为实现QoS的配置、修改和部署而一个设备一个设备地进行管理的必要。·易于使用的策略配置：QPM简化了通信流分类和端对端QoS供应的配置，同时可以提供基于规则的策略有效性验证。Page83of83 比亚迪数据中心建设方案佳众联科技·为关键商业应用提供差别服务：根据应用定义定义不同的服务等级，可通过内容级的应用识别功能得到加强。·语音QoS支持：确保高质量语音和视频服务的性能。·全面的QoS功能支持：提供广泛的可以利用智能QoS功能的拥塞管理、拥塞避免和通信流整形服务。·自动化策略部署：确保在设备上部署可控的和可靠的QoS策略。通过提供能够在您的网络上定义端对端服务质量（QoS）策略的工具，QoS策略管理器（QPM）解决方案使网络管理员能够确保关键应用的性能，充满信心地部署新的应用，随着业务的增长而对网络进行扩张，以及加强服务级别协议（SLA）。作为端对端QoS和智能网络服务的一个整体组成部分，QPM通过能够对应用和用户进行识别的、集中的策略管理，可以最大程度地对通信流进行加强。作为一个全功能的QoS系统，QPM能够支持差别服务和信号服务，确保整个网络基础设施内QoS的一致性。1、功能介绍·集中策略控制—一个集中的、覆盖整个网络的策略数据库消除了在路由选择和交换环境中为实现QoS的配置、修改和部署而一个设备一个设备地进行管理的必要。·易于使用的策略配置—QPM简化了通信流分类和端对端QoS供应的配置，同时可以提供基于规则的策略有效性验证。·为关键商业应用提供差别服务—根据应用定义定义不同的服务等级，可通过内容级的应用识别功能得到加强。·语音QoS支持—确保高质量语音和视频服务的性能。·全面的QoS功能支持—提供广泛的可以利用智能QoS功能的拥塞管理、拥塞避免和通信流整形服务。·自动化策略部署—确保在Cisco设备上部署可控的和可靠的QoS策略。2、QoS策略管理器的优点Page83of83 比亚迪数据中心建设方案佳众联科技QoS的目标是通过提供专用带宽、控制抖动和延迟、管理拥塞和提高通信流效率来提供一致、可预测的网络服务。作为增强智能网络的一部分，QoS对整个企业来说都是非常重要的。通过实现应用性能需求到QoS策略的转换过程的自动化，QPM可以确保关键商业应用、语音和多媒体通信流的可靠性能，它们都在争夺非关键性通信流。QPM提供的关键益处包括能够支持整个网络范围内的基于内容的差别服务，自动化的QoS配置和部署，以及确保园区网到WAN的策略控制。3、提供整个网络范围内的差别服务根据应用通信流的相对重要性提供网络资源是最有效的提供QoS的方式。分组分类是一个关键功能，它允许为通过某一网络单元或特定接口的适当的数据分组提供QoS服务。使用QPM，一个管理员可以快速构建基于规则的能够对应用通信流进行识别并将其划分为不同服务等级的QoS策略。被分类以后，可以根据适当的IP优先级或差别服务代码点（DSCP）对这些数据分组作出标记。QPM支持粒度等级良好的通信流分类，包括TCP/用户数据报协议（UDP）端口和IP地址。通过CiscoIOS软件中网络应用识别（NBAR）的增强分类功能，QPM还可以支持Cisco内容组网。NBAR支持通过应用签名、分组中的特殊内容（包括WebURL）以及动态协议的捕获来进行分类。QPM允许您创建覆盖整个网络范围的QoS策略体系结构，它可以根据服务级别在网络边界确定应用程序的处理优先级，然后使用拥塞避免和拥塞管理技术在网络的核心部分对这一策略进行加强。4、使QoS的配置和部署自动化即使是使用高级、智能化的网络设备，在整个网络的范围内手工部署QoS策略仍是一个易于出错和费时的任务。QPM使与策略定义、验证、配置和部署相关的步骤实现了自动化。使用QPMGUI，您可以快速而可靠地实现QoS策略的部署，同时不要求您对QoS机制有详细的了解。通过QPM，您可以：·规定基于规则的策略，为应用和用户建立差别化的通信流等级。·支持一组丰富的QoS服务，包括拥塞管理、拥塞避免和通信流整形机制。·通过使QPM能够高效地将策略转换为特殊的QoS配置命令，确保策略的一致性。Page83of83 比亚迪数据中心建设方案佳众联科技第1章佳众联科技介绍1.1技术支持服务原则佳众联科技作为国内最大的系统集成商之一，对用户的技术支持和服务工作非常重视，佳众联科技正在进行ISO9001质量体系的认证工作，以便使服务工作能够达到标准化的要求。佳众联科技的技术支持与服务的原则如下：l佳众联科技代表一流品质。l始终关注客户的利益。l质量改进是每个人的责任。1.1.1技术支持服务特色通过多年系统集成和技术服务经验的积累，佳众联科技逐步认识到优良的技术支持和服务是系统集成商的生命力所在，在技术支持和服务方面已经形成一套严格的、规范化的服务体系。l按照标准化的程序进行，ISO9001认证体系——佳众联科技的服务体系通过了ISO9001质量体系的认证工作。l组织严格、资源充足、快速反应——建立严格的组织结构，垂直领导，具有灵活的人力资源调动能力，凭借覆盖全国的技术支持服务体系，统一调配人力资源，形成快速的技术支持服务队伍。l多层次、多项目服务供用户选择——不仅提供系统集成服务，而且根据用户的具体需求，进行战略规划的服务、顾问专家级专题技术服务。l“一点服务”——用户发现问题，只需和佳众联科技联系，佳众联科技启动服务流程，协调设备厂商、电信提供商等外部关联部门，解决问题。l专业化代维服务——根据用户的需求提供专业化的系统代维服务，在双赢的策略指导下使客户与服务提供方发挥各自最大能力，获得最大利益。l人员素质高，保证服务质量——佳众联科技技术支持和服务的人员100%拥有相关专业的本科以上的学历和丰富的技术实践经验。l良好的信誉和协调能力——佳众联科技经过多年的系统集成和服务，在用户中建立了良好的技术支持和服务信誉，形成了和设备厂商和谐默契的关系。l良好的用户培训，提高用户的技术水平和能力——根据佳众联科技长期积累的经验，良好的用户培训是保证用户系统稳定、高效率运行的基础，佳众联科技Page83of83 比亚迪数据中心建设方案佳众联科技将为用户提供多层次、多手段的技术培训，使用户的相关技术人员拥有一定的技术水平和故障处理能力。1.1技术支持服务目标佳众联科技技术支持和服务的目标就是：为客户以及下属机构，提供良好的技术支持和服务，确保客户网络安全、可靠、稳定地运行。1.2技术支持维护服务1.2.1技术服务工作流程技术支持服务工作流程如下所示：佳众联科技为用户本次网络项目成立了专门的实施小组和服务小组，用于用户网络系统的实施和日常项目维护。为了提高整个用户网络系统维护的效率，在用户网络系统出现故障时，将直接向佳众联科技实施负责人进行联系，将由实施负责人立即组织对网络系统故障和设备故障的排除工作。实施负责人将根据故障的情况，采用电话支持、远程在线支持和现场支持等服务方式，保障用户的故障在最短的时间内得到解决。用户也可以和本项目的专职项目经理进行联系，也将获得上述级别的服务。在故障排除的过程中，根据佳众联科技ISO9001质量管理规范，相关执行人需要在佳众联科技Case管理系统中进行相应的故障记录，以保障整个故障排除过程中的项目跟踪和质量监督。佳众联科技上述2种服务方式，是为了提高用户网络系统的故障排除效率，而专门针对用户本次项目制定的，高于佳众联科技标准的服务流程等级。当然用户也可以通过佳众联科技Page83of83 比亚迪数据中心建设方案佳众联科技800免费电话、电子邮件和在线方式，启动佳众联科技标准的故障排除服务流程。接线员收到用户的请求之后，在佳众联科技Case管理系统中进行记录，并且根据用户的实际情况，把相关故障处理分配给对应的实施小组技术人员，使用户得到和前面描述相同级别的服务。1.1.1技术服务进度管理在故障处理的过程中，依照ISO9001质量管理系统规范，相关执行人将及时在佳众联科技Case管理系统中进行记录，对应的项目故障排除服务，将受到佳众联科技进度管理系统的追踪，佳众联科技为用户本次项目制定的进度管理规范如下所示：确诊时间一级故障二级故障三级故障四级故障1小时高级工程师4小时技术经理CiscoTAC高级工程师24小时总经理/技术副总经理技术经理CiscoTAC48小时总经理/技术副总经理72小时高级工程师96小时技术经理CiscoTAC高级工程师CiscoTAC除了跟踪管理系统外，根据佳众联科技ISO9001质量管理规范，佳众联科技质量管理部门的QA人员将对整个故障排除的处理过程进行质量跟踪和评审，从而保障整个故障处理过程按时和高质量的完成。佳众联科技服务故障等级定义如下所示：故障等级故障等级描述一级故障现有的网络停机，或对最终用户的业务运行有重大影响。应提供专职技术人员解决这种情况二级故障现有网络的操作性能严重降级，或由于无法忍受的网络性能，使用户的业务运行的重要方面受到不良影响。应在标准工作时间内提供专职技术人员解决这种情况三级故障网络的操作性能受损，但大部分业务运行仍可正常工作。应在标准工作时间内使业务恢复到满意水平四级故障Page83of83 比亚迪数据中心建设方案佳众联科技在CISCO产品功能、安装或配置方面需要信息或支援。很显然对最终用户的业务动作几乎无影响，或根本没有影响。应在标准工作时间内提供所需要的信息或支援1.1.1技术服务文档提交在故障处理结束之后，实施人将负责提交《网络设备故障服务报告》和《用户满意度调查表》。1.2设备保修维护服务1.2.1设备保修工作流程设备保修服务工作流程如下所示：在用户网络系统出现故障之后，根据用户要求和佳众联科技项目执行人的RMA请求，佳众联科技RMA负责人将立刻向原始厂商申请RMA设备换修服务，并且进行相应RMA跟踪，以确保原始厂商的RMA备件以最快的速度抵达现场。根据用户购买的服务等级，Cisco公司的RMA备件将在第二个工作日抵达用户现场。佳众联科技在北京、上海、广州、西安、杭州和成都拥有5个网络产品备件中心，在用户出现严重影响生产的故障时，佳众联科技Page83of83 比亚迪数据中心建设方案佳众联科技将先启动自己的备件库，并且以最快的方式把备件运送到用户故障现场，先保障用户故障设备的及时恢复。在备件抵达用户现场后，在用户认为合适的时间段在进行替换，并且把替换的故障设备发还给原始厂商。在整个RMA处理完成之后，佳众联科技RMA负责人将负责向原始厂商申请关闭本次RMA服务，并且由实施人员负责关闭佳众联科技Case管理系统中的本次RMA服务，至此本次RMA服务工作将结束。1.1.1设备保修进度管理在RMA处理的过程中，依照佳众联科技ISO9001质量管理系统规范，相关执行人将及时在佳众联科技Case管理系统中进行记录，对应的网络设备保修服务，将受到佳众联科技进度管理系统的追踪。除了跟踪管理系统外，根据佳众联科技ISO9001质量管理规范，佳众联科技质量管理部门的QA人员将对整个网络设备保修服务的处理过程进行质量跟踪和评审，从而保障整个网络设备保修服务的处理过程按时和高质量的完成。1.1.2设备保修文档提交在RMA换修结束之后，实施人将负责提交《网络设备故障服务报告》和《用户满意度调查表》。1.2定期网络巡检服务1.2.1定期巡检工作流程定期网络巡检服务工作流程如下所示：Page83of83 比亚迪数据中心建设方案佳众联科技定期网络巡检服务实施步骤：第一步由实施小组负责人，每季度按时向用户提交网络巡检服务申请；第二步用户根据自身的工作安排和网络实际运营环境，确定是否按时或者适当延期进行网络巡检服务；第三步实施小组人员按照事先协商的时间点，到用户现场进行巡检数据采集；第四步实施小组人员对采集的巡检数据进行分析，确认是否存在故障和安全隐患；第五步在网络巡检完成之后的3个工作日内，实施小组人员向用户提交相应的《定期网络巡检服务报告》，如果存在较大的网络和安全隐患，还需制定相应的《网络整改计划》给用户确认；第六步实施小组人员提交《定期网络巡检服务报告》和《网络整改计划》得到用户确认之后，本月定期网络巡检服务实施结束。《网络整改计划》如果用户需要由佳众联科技人员提供现场服务，将按照重大事件现场服务的流程进行申请和执行。1.1.1定期巡检进度管理在定期网络巡检服务的过程中，依照佳众联科技ISO9001质量管理系统规范，相关执行人将及时在佳众联科技项目管理系统中进行记录，对应的定期网络巡检服务，将受到佳众联科技进度管理系统的追踪。除了跟踪管理系统外，根据佳众联科技ISO9001质量管理规范，佳众联科技质量管理部门的QA人员将对整个定期网络巡检服务的处理过程进行质量跟踪和评审，从而保障整个定期网络巡检服务的处理过程按时和高质量的完成。Page83of83 比亚迪数据中心建设方案佳众联科技1.1.1定期巡检文档提交在每季度定期网络巡检服务结束之后，实施人将负责提交《定期网络巡检服务报告》和《用户满意度调查表》。1.2现场支持维护服务1.2.1现场服务工作流程佳众联科技主要向用户提供故障和重要事件两种类别的现场技术支持服务。其中故障现场服务主要是保障用户系统的及时和快速恢复，保障用户系统的正常运行，属于紧急事件的现场技术支持服务。重要事件现场服务包括在用户进行重大网络变更，或发生对网络影响较大、要求较高的重要事件（如系统投产、主机系统切换、迁移改造等工作），或在重要时间点（如年终结算、重要计息日等），要求佳众联科技派出工程师提供的现场技术支持服务，这类服务属于不紧急事件的现场技术支持服务。根据现场服务的类别不同，相应的服务流程也有所区别。故障现场支持服务工作流程如下所示：佳众联科技收到用户的故障申请和故障现场服务请求之后，将立即分配到相应的实施负责人，由实施负责人根据用户故障现象决定是否马上启动故障现场技术服务。如果故障等级比较低，可以先采用电话支持或者远程登陆等服务方式，如果还解决不了问题需要马上启动现场支持服务；如果故障等级比较高需要现场服务时，佳众联科技工程师将以最快的方式到达用户现场。从流程图中可以看出，佳众联科技简化了标准的服务流程，提高相应的服务等级，以保障最大限度的满足用户现场服务的要求和提高故障处理的服务效率。重大事件现场支持服务工作流程如下所示：Page83of83 比亚迪数据中心建设方案佳众联科技重大事件现场服务实施步骤：第一步由用户提出重大事件现场服务申请；第二步佳众联科技项目经理，组织相关商务负责人进行合同和商务评审，确认重大事件现场服务要求是否合理，确认合理将往下执行，不合理将终止重大事件现场服务申请；第三步：现场服务实施小组人员制定现场服务计划，提供给用户确认；第四步：用户对现场服务计划认可，将在用户确认的时间点组织现场服务实施，如果用户对现场服务计划不满意，将重新进行修订直到用户满意为止；第五步：组织技术人员根据现场服务计划，进行相应现场服务实施；第六步：实施完成得到用户确认之后，本项重大事件现场实施服务结束，项目现场服务人员完善相应的文档。1.1.1现场服务进度管理在网络现场支持服务的过程中，依照佳众联科技ISO9001质量管理系统规范，相关执行人将及时在佳众联科技Case管理系统和佳众联科技项目管理系统中进行记录，对应的网络现场支持服务，将受到佳众联科技进度管理系统的追踪。除了跟踪管理系统外，根据佳众联科技ISO9001质量管理规范，佳众联科技质量管理部门的QA人员将对整个网络现场支持服务的处理过程进行质量跟踪和评审，从而保障整个网络现场支持服务的处理过程按时和高质量的完成。1.1.2现场服务文档提交在网络现场支持服务结束之后，实施人将负责提交《网络故障现场服务报告》、《重大事件现场服务申请》、《重大事件现场服务报告》和《用户满意度调查表》。Page83of83 比亚迪数据中心建设方案佳众联科技1.1软件升级维护服务1.1.1软件升级工作流程网络软件升级服务工作流程如下所示：软件升级服务实施步骤：第一步佳众联科技实施小组负责人或者用户提交软件升级申请；第二步佳众联科技项目经理，组织相关商务负责人进行合同和商务评审，确认软件升级要求是否合理，确认合理将往下执行，不合理将终止软件升级申请；第三步：实施小组负责人将组织佳众联科技相关技术专家，对软件升级申请进行技术评审，评审技术上面的合理性和技术风险性，确认合理将往下执行，不合理将终止软件升级申请；第四步：实施小组人员制定实施计划，提供给用户确认；第五步：用户对实施计划认可，将在用户确认的时间点组织实施，如果用户对实施计划不满意，将重新进行修订直到用户满意为止，如果用户不认可该项升级服务内容，将终止该项软件升级服务；第六步：组织技术人员根据实施计划，进行现场软件升级实施服务；第七步：实施完成得到用户确认之后，本项软件升级服务结束，项目实施人员完善相应的文档。1.1.2软件升级进度管理在网络软件升级服务的过程中，依照佳众联科技ISO9001质量管理系统规范，相关执行人将及时在佳众联科技项目管理系统中进行记录，对应的网络软件升级服务，将受到佳众联科技进度管理系统的追踪。除了跟踪管理系统外，根据佳众联科技ISO9001质量管理规范，佳众联科技Page83of83 比亚迪数据中心建设方案佳众联科技质量管理部门的QA人员将对整个网络软件升级服务的处理过程进行质量跟踪和评审，从而保障整个软件升级服务的处理过程按时和高质量的完成。1.1.1软件升级文档提交在软件升级服务结束之后，实施人将负责提交《网络软件升级服务申请》、《网络软件升级服务报告》和《用户满意度调查表》。1.2售前技术支持服务1.2.1售前服务工作流程售前顾问咨询服务工作流程如下所示：售前顾问咨询服务实施步骤：第一步由用户提出相关的售前申请；第二步由佳众联科技专业市场负责人、本次项目经理和售前负责人进行商务与技术评审，确认本次售前活动是否可行，可行则继续往下执行，不可行则结束本次售前活动；第三步指定相关售前责任人，进行相应的售前技术支持；第四步售前责任人根据用户的需求制定《售前技术方案》，并且提交给用户；第五步用户对收到的《售前技术方案》确认是否满意，不满意将重新进行修订直到用户满意为止；第六步得到用户确认之后，本次售前活动结束，相关市场人员进行相应的售前项目跟踪。1.2.2售前服务进度管理在售前顾问咨询服务的过程中，依照佳众联科技ISO9001质量管理系统规范，相关执行人将及时在佳众联科技项目管理系统中进行记录，对应的售前顾问咨询服务，将受到佳众联科技进度管理系统的追踪。除了跟踪管理系统外，根据佳众联科技ISO9001质量管理规范，佳众联科技Page83of83 比亚迪数据中心建设方案佳众联科技质量管理部门的QA人员将对整个售前顾问咨询服务的处理过程进行质量跟踪和评审，从而保障整个售前顾问咨询服务的处理过程按时和高质量的完成。1.1.1售前服务文档提交在每次售前顾问咨询服务结束之后，实施人将负责提交《售前技术支持服务报告》、《售前技术方案》和《用户满意度调查表》。1.2专业技术培训服务1.2.1培训服务工作流程技术交流培训服务包括专业技术培训和技术交流两方面的内容，其中专业技术培训按照事先商务合同中商议的培训课程、内容、时间和地点，到了相应的时间点按时组织进行即可，不需要另外复杂的工作流程。技术交流服务工作流程如下所示：技术交流服务实施步骤：第一步项目实施人员就某些售后先进调试技术和新技术或者售前人员就某些售前新产品和新技术，向公司提出技术交流申请，佳众联科技Page83of83 比亚迪数据中心建设方案佳众联科技专业市场负责人和本项目经理进行商务确认，确认合理则继续往下执行，确认不合理则结束本次技术交流活动；第二步技术交流申请人员和用户进行沟通，用户根据技术交流的相关内容，确认是否接受本次技术交流活动，接受则继续往下执行，不接受则结束本次技术交流活动；第三步技术交流实施人员制定详细的技术交流内容，并且向用户进行提交；第四步用户根据提交的具体的技术交流内容和质量，决定是否继续接受本次技术交流活动，认为可行则继续往下执行，认为质量不合格则继续进行完善直到用户认可为止，认为不可行则结束本次技术交流活动；第五步技术交流实施人员根据事先协商的时间点，到用户现场组织技术交流活动；第六步技术交流实施人员完成《用户满意度调查表》之后，本次技术交流活动结束。1.1.1培训服务进度管理在技术交流培训服务的过程中，依照佳众联科技ISO9001质量管理系统规范，相关执行人将及时在佳众联科技项目管理系统中进行记录，对应的技术交流培训服务，将受到佳众联科技进度管理系统的追踪。除了跟踪管理系统外，根据佳众联科技ISO9001质量管理规范，佳众联科技质量管理部门的QA人员将对整个技术交流培训服务的处理过程进行质量跟踪和评审，从而保障整个技术交流培训服务的处理过程按时和高质量的完成。Page83of83'