当前，广电网络运营商正处于关键的转型发展期，IT设施作为各项业务的基本载体，会随着业务规模的增长在数量和规模上快速膨胀。采用何种建设模式？相比云计算模式，传统的“烟囱式”、“孤岛式”除了会带来高昂的TCO总体拥有成本，且不具备可持续发展能力，无法适应广电中长期业务发展的内在需求。
采用云计算模式实现IT业务系统和服务的交付是包括广电在内的四大运营商的一致选择，电信等运营商会选择建设IT支撑云、公有云、政企云、业务云等满足企业内部运营、对外业务服务等需求，现阶段的广电网络虽然在业务需求上与电信相近，但在资金、机房等资源上无法像其他运营商那样分业务场景建设多个云数据中心。因而，现阶段建设全业务的云数据中心是最具性价比的选择，但考虑到远期的发展需要，整体方案规划上必须具备多数据中心分布式协同的扩展性。因此，全业务、分布式是广电网络现阶段云数据中心建设的关键点。
广电云数据中心的全业务能力体现在：
● 可承载广电内部各类IT支撑业务系统，侧重云方式部署、全面管理监控、安全防护及隔离（符合等保要求）和高可靠性保障等要求。
● 可承载广电的各类公众业务，包括互联网CDN、互动电视CDN和增值业务等业务系统，侧重高性能、大流量，一般对大容量云存储、采用物理机方式部署业务、安全防护等方面有特定要求。
● 可为政企客户提供云服务业务，除了虚机、云存储等云服务外，还应包括物理主机、云防火墙、虚机防病毒、云负载均衡、云数据库、大数据、云桌面等云服务项目。系统应可提供灵活自定义的计费营帐功能；需为政企客户提供可视化的云资源编排手段，便于租户自行设计VDC（Virtual Data Center）内部架构；能基于VDC实现多租户系统的安全隔离；能为云管理员和租户提供全面的云资源监控能力。
● 可提供融合媒体生产制作业务，这属于广电特色需求，是发展融合媒体业务的有效载体，可面向中小电视台、设备媒体机构提供云非编、云转码等服务。
● 云运营平台可通过北向开放接口与上级云平台、第三方云平台以及广电自有BOSS系统对接，实现更广泛的云服务管理。
新华三面向广电的全业务分布式云数据中心具备简洁开放的架构。
1 IT基础设施层规划设计
本方案的IT基础设施层，包括新华三或第三方的服务器设备、网络设备、存储设备和安全设备。新华三可提供业内最具竞争力的全系列计算、网络、安全和存储产品，并可进行资源融合管理。
新华三可提供H3C和HP双品牌的机架式高性能服务器、高密刀片服务器，不同款型针对各种场景进行优化设计，可满足大流量视频业务、大容量存储业务、关键业务、虚拟化业务、大数据业务等多种场景需求。现阶段，不少省份广电运营商的机房空间比较紧张，而业务的快速发展又使得越来越多的IT设备需要部署，从机房空间利用效率看，可以对一些业务所需的计算资源采用高密刀片服务器设备，在单位空间内部署更多的计算资源，同时再配合计算虚拟化软件，提升对计算资源的利用率，可有效缓解机房空间不足的问题。
存储方面，新华三当前可提供H3C和HP双品牌的存储产品和方案，包括中高端IP&FC SAN存储以及分布式Server SAN存储。对于广电BOSS、数据库等关键应用场景，可以采用HP 3PAR的双控和多控中高端存储，对于IO、吞吐要求极高的业务场景，可采用3PAR全闪存存储阵列。针对广电的宽带互联网和互动视频业务CDN系统、媒资系统等所需的大容量块存储和NAS存储系统，H3C提供了高性价比的OneStor分布式存储解决方案，基于多台大容量分布式存储服务器构建分布式存储系统，该系统无中心控制点，性能和容量基于Scale-out方式扩展，可通过增加存储服务器节点方式实现性能和容量的扩展，并基于多副本、纠删码机制提供99.999%的容错能力。OneStor提供的是融合存储服务，在一个存储系统提供块、文件和对象存储服务，相比传统存储，具备更好的灵活性，更好地满足广电各类业务对存储资源的需求。
在服务器、存储的部署上，单一庞大的资源池并非是最有效的，实践中可根据大类业务的不同进行划分，配置多个中小规模的资源池。
例如对于服务器资源，可考虑划分为内部IT支撑资源池、互联网宽带业务资源池、互动视频业务资源池、政企云服务资源池等。每个资源池都有独立的虚拟化管理系统，资源池内部的故障问题不会影响到其他资源池。不同的计算资源池在服务器的硬件配置、软件应用上存在较大差异，也可归属为不同的管理接口人。单个资源池内部服务器可实现资源的复用、HA、负载分担。
对于存储资源，不同的业务所需要存储方式、性能、可靠性都不一样，因此可将业务对存储的需求归类，考虑设置2-3个存储资源池，包括高可靠高IO的块存储资源池，大容量、高吞吐的块和对象存储，大容量、高吞吐的NAS存储。IT支撑系统的BOSS等业务系统存在大量数据库应用，一般需要块存储方式，且对IO要求较高；宽带和互动视频服务器需要大容量的块存储资源，媒资系统则需要大容量的NAS存储资源。
新华三基于SDN架构，提供了业内最完整、最先进的多场景云数据中心网络解决方案，针对超大规模互联网公司云数据中心、大中型规模运营商或行业客户云数据中心以及中小型规模企业客户云数据中心均有针对性的云网络解决方案。
新华三为云平台提供了完备的网络安全技术和产品，以保障整体云平台系统的安全，纵向上从云平台的网络层到业务应用层，横向上从前端业务系统到后端运维系统，粒度上从单点主机到整个系统，以达到广电网络业务系统所需的三级等保要求。
2 资源虚拟化层规划设计
资源虚拟化层，主要实现计算、网络、存储和安全物理资源的虚拟池化和虚拟资源管理。
计算虚拟化可使用新华三CAS系统或第三方主流产品。截止2016年三季度，H3C CAS系统目前已经累计部署超过6万CPU节点的规模，入围中国电信集团虚拟化产品集采名单（仅2个名额），是业内基于KVM的应用最成熟、功能最完善、效率最高的计算虚拟化系统。
网络虚拟化一直是云计算的资源虚拟化最重要且难度最大的环节，新华三方案运用网络设备虚拟化、网络功能虚拟化（NFV，Network Function Virtualization）和网络资源虚拟化（即网络Overlay技术）的技术，结合SDN技术，实现了网络的集中化管控和对资源的按需分配管理，通过SDN控制器集群向Openstack云管理平台开放北向接口，从云管理平台实现对网络资源的可视化按需调度。新华三的云网络融合了SDN、VXLAN、NFV和EVPN技术，可提供主机、网络和混合Overlay三种模式，满足灵活组网需求。
当前广电的业务主要以宽带和视频业务为主，流量规模巨大，纯主机Overlay组网模式由于严重依赖宿主机的内置vSwitch进行VXLAN报文的封装和解封装，对CPU开销巨大，且流量转发性能有瓶颈，因此采用网络Overlay或混合Overlay更适合广电云数据中心的需求。
存储虚拟化方面，方案采用新华三的OneStor软件实现了对存储服务器存储资源的虚拟化，通过运行在普通X86服务器上的存储软件，将所有服务器本地硬盘虚拟为共享存储，实现存储资源面向应用灵活定义。
安全虚拟化重点在实现安全资源的灵活分配和部署，既采用基于高性能物理安全设备的1：N虚拟化技术，也应采用基于NFV的安全软件组件方式，但侧重不同，物理硬件虚拟化侧重性能，适用用于南北向大规模流量，NFV安全软件侧重灵活性，适用于东西向主机互访流量。
3 云业务管理层规划设计
云业务管理层部署云业务管理平台。云业务管理平台目前有私有平台、开源原生平台和基于开源平台开发的商用云平台产品。私有平台与南北向系统的兼容性较差，开发、运维和升级成本较高，不适合广电；而类似OpenStack的原生系统一般只作为实验系统，不能直接作为规模商业化服务的平台。H3CloudOS是新华三基于OpenStack开源平台开发，集云服务、云运营、云运维为一体的云操作系统软件。Openstack开源平台是当前最受欢迎的开源云计算管理平台项目，在社区活跃度、平台扩展性上远远优于其他开源平台。H3CloudOS基于OpenStack进行了深度优化和全面增强。
H3Cloud OS可以将云用户提交的服务请求解析为基础设施可以理解的指令并自动执行，再辅以规格、计费、流程、租期等运营类功能，使得整个云数据中心的资源都可以自动、有序的使用和分配，在减轻管理员的工作负担同时提高了数据中心的运营效率。
H3Cloud OS为广电的各业务部门或外部云服务大客户分配了租户管理员和用户两类角色，租户管理员具备对云平台内与其对应的虚拟数据中心（VDC）内的云资源的部署、运维和管理权限，而用户则可通过自服务门户提交相应云服务的申请，经由租户管理员审核后即可进行部署。平台为用户提供了丰富的云服务，X86物理机、X86虚拟机、PowerVM虚拟机（在有小型机资源和虚拟化系统时）、云硬盘、云防火墙、防病毒、云负载均衡、云网络、云数据库、公网IP、物理服务器、大数据平台、云桌面等云资源服务，这些云资源使用起来和物理设备没有差别。
广电不仅需要虚拟机承载业务，其互动视频和宽带业务均需要部署大量视频推流服务器、宽带Cache服务器，这些服务器资源同样可通过H3Cloud OS平台进行按需分配、系统安装、系统监控、资源回收等全生命周期的管理。广电云数据中心内的业务系统与外网之间、不同业务系统之间均存在NAT、安全互访、访问控制、安全防护、业务负载均衡的需要，云防火墙、公网IP、云负载均衡等服务则可按需提供和部署在云内。
为了提升云计算服务的交付和管理效率，H3Cloud OS提供了一系列高级功能。例如，H3Cloud OS为租户提供了动态可视化的云资源部署工具，用户可针对其所申请云资源，通过图标拖拽的方式灵活创建调整VDC。其中，VDC的拓扑是对租户所有虚拟设备逻辑关系的实时展现，与数据中心物理组网无关。
另外，H3Cloud OS内对于具备WEB-APP-DB等典型三层架构的业务系统，管理员可预先定义应用模板，包含虚拟机、以及在虚拟机内部安装的Web、Application、DB等软件，不同虚拟机之间的负载均衡及网络关系等，待有具体的业务系统需部署时，可快速应用该模块下发和部署云资源，在几分钟内完成一个复杂的三层架构业务系统的部署。
4 云数据中心的云网融合
IaaS云平台的分层结构使其具有很好的开放性和扩展性，特别是资源虚拟化层（包括计算、网络和存储）和云业务管理层需提供开放的南北向互通协议或API\SDK，以满足不同层次系统之间的对接调度。计算虚拟化系统中包括CAS、VMWare、XEN、Hyper-V等都很好的解决了南向对X86计算平台、北向对OpenStack类云管理平台的接口开放和对接，存储虚拟化也可很好与计算虚拟化或云管理平台对接，但网络虚拟化的南北向接口开放和上下层次对接却面临了更多的困难，即云和网的融合是整个IaaS云系统实现的一大难点。因为数据中心的网络设备类型多样化、硬件差异大、网络设备的软件和硬件强耦合且封闭，无法做到像X86服务器那样的标准化，长期以来网络虚拟化都难以达到像计算虚拟化那样对底层资源的灵活调度和管理能力。SDN架构和OpenFlow、Netconf等南向协议的出现、OpenStack Neutron组件对云计算网络服务的接口定义给出了很好的方向和基本工具，但在网络虚拟化的具体实现上，网络设备自身软件平台、SDN控制器平台的开发实现才是最大的挑战。
新华三面向IaaS云系统的云网融合技术的架构上，H3C VCFC（Virtual Converged Framework Controller）作为SDN控制器，北向封装了完善的rest API接口集，并提供了面向OpenStack Neutron组件的VCFC Plugin。流程上，Openstack云平台接受云平台用户的各类云网络服务请求，并转换为对Neutron组件中各类VCFC Plugin的调用，VCFC Plugin则通过rest API调用VCFC，后者通过Netconf、Openflow和OVS-DB等南向协议与物理或NFV形态的网络、安全设备的操作系统交互，实现了业务配置和转发流表的南向下发。VCFC控制器对网络设备的配置和调度对上层云平台的管理员、云用户都是透明的。
新华三基于VCF架构的网络虚拟化技术具有很好的开放性，可与腾讯云等公有云以及基于Openstack的第三方云平台的对接，屏蔽底层网络的复杂性，让云平台实现对网络虚拟资源的灵活调度。
新华三的云数据中心整体解决方案中，依托云网融合的完美实现，VCFC控制器实现了对H3C各类网络和安全设备的统一调度和配置，包括物理形态的核心交换机、接入交换机、防火墙、负载均衡，以及NFV形态的虚拟交换机、虚拟路由器、虚拟防火墙、虚拟负载均衡等设备。H3CloudOS则基于对VCFC控制器的调用，可实现丰富的云服务，不仅可实现Network、Subnet、Port、Router等基本云网络服务，更可实现公网IP（NAT）、云防火墙、云负载均衡、云VPN等高级云网络和安全服务，以智能方式代替了传统数据中心内的上述服务的手工配置交付方式。
H3C VCFC控制器的集群技术可保证网络控制平面的高可靠性和管理调度性能需求，以满足广电构建大型云数据中心的需要。
5 多数据中心的分布式协同
广电未来的多个云数据中心应协同工作，不能仅限于数据中心间的主备方式，更应实现业务双活或多活、云业务跨DC迁移等能力。双活或多活设计需要多个层面的互联协同保障。首先，需要实现DC间存储系统数据实时复制、数据库系统实时同步，一般基于OTN传输链路或裸光纤链路；其次，虚机资源的跨DC迁移和业务则需基于EVI（以太网虚拟化互联）技术实现DC间大二层云专线互联；第三：不同数据中心内业务系统之间的某些业务交互（例如CDN的中心节点与边缘节点内容同步）需要安全隔离的网络，可采用L3 MPLS VPN或VPLS等方式。第四，前端业务的双活还需考虑内部业务服务器集群的健康探测，以及选择基于全局DNS调度或基于负载均衡健康路由注入调度技术解决用户入口选择的问题。
EVI 2.0为新华三面向多数据中心大二层互联的技术，控制面为EVPN（MP-BGP的扩展），数据面可以采用VXLAN格式，其中EVPN已经成为数据中心互联的标准技术。
广电的多个云数据中心必然要做业务和资源的协同管理，应可按需设计成“多DC一朵云”或“多DC分级云”的模式。“多DC一朵云”模式下，所有云DC的云管理员进行统一的权鉴管理，为用户提供统一的服务门户，一个用户可以同时使用不同数据中心的资源，云资源进行集中管控；“多DC分级云”模式下，多个云DC可划分为上级云和下级云，上级云与下级云拥有各自独立的服务门户、独立的账号和权鉴系统；上级云从全局角度对各下级云进行统一的资源用量、性能、告警的监控和分析；支持从上级云单点登录跳转到下级云进行具体的资源操作。
6 云安全规划设计
“全业务”交付要求给对广电云数据中心的安全管控、安全服务交付效率带来了挑战。
在安全管控上，云平台除了要解决传统IT系统的安全风险问题，还面临更为复杂的是安全难题。云平台上，多租户共享各类资源导致安全边界变得模糊，已无法采用传统安全设备的部署模式对不同的逻辑业务分区进行安全隔离防护；计算资源集中部署对安全防护设备的性能提出了更高的要求，防护能力需要随同计算资源动态扩展；针对不同的业务应用，需要灵活定制安全防护路径，满足差异化防护需求；安全策略需要跟随虚拟机动态迁移，确保虚拟机动态迁移后对应的安全策略仍然有效。
全业务数据中心的系统安全建设总体上应该坚持基于广电总局、中央网信办、公安部等部委发布的信息安全等保规范，特别是云计算等保规范。在新华三的方案中依托新IT的“大安全”技术战略，综合实现了物理主机安全、虚拟主机安全、主机操作系统和应用安全防护、物理网络安全、虚拟网络安全、DC出口安全、带外管理系统安全等，确保整体云数据中心符合三级等保要求。
云平台上，安全不再是一种能力，更加体现为一种服务，也就是“安全即服务”。各类业务对安全服务的交付和变更效率要求很高，以便快速响应业务的需求，短的几秒钟，长的不超过分钟就应该让安全服务生效。传统安全部署技术难以达到这种要求，一台物理防火墙的部署和配置很可能花费数小时甚至一天时间。面对效率的要求，云安全更重要的是通过软件定义安全技术，实现对各类安全资源的虚拟化、定义和业务编排管理。实现安全即服务的快速交付模式，关键技术在于两个方面：
安全资源池虚拟化技术和可靠性技术：在安全即服务的交付模式中，高性能的安全资源池是非常重要的环节。在实际构建安全资源池的过程中，广电可以选择部署多台高性能的FW 、IPS 、LB、VPN等设备来实现安全资源池。通过专业的虚拟化技术和可靠性技术，可以使得每个业务系统或用户根据安全需求获取相应的安全资源块，并拥有对该资源池的控制权。
安全业务服务链技术：根据业务或用户的需求，屏蔽掉硬件架构上的差异性，在短时间内，按需发布用户的安全服务，并且能够自动化实现对安全资源池设备的配置和策略部署是安全业务服务链的目标。基于安全业务服务链+NFV架构的解决方案，是目前业界领先的解决方案。基于NFV的安全服务非常灵活，既可以基于单一虚拟机实现多种安全服务的按需调整，也可以基于多虚拟机构建高性能的安全服务资源池。同时，在面对诸如NFV的多安全服务交付场景下，通过安全服务链技术可以有效简化多服务之间的流量路径管理，提升自动化部署运维的效率。
7 结束语
新华三的广电全业务分布式数据中心解决方案用创新的技术为广电网络运营商提供了构建满足当前业务发展、面向未来业务创新的云数据中心的最佳选择。方案实现了对各类资源的最有效融合，以提升各类资源的使用效率、降低成本；用全流程化方式提供丰富的云服务，以提升整个云平台的运营能力；采用软件定义安全技术确保云平台的安全等保要求，实现安全即服务的安全交付能力；基于融合IT资源管理技术，实现了数据中心内所有硬件资源、虚拟资源的全生命周期管理，降低云数据中心运维管理的复杂度。
