1.1 文档内容
本文档为某企业私有云技术路线设计文档。
1.2 背景描述
1.2.1 某企业私有云业务线规划
近些年由于国内IDC市场发展迅速，某企业从战略层面考虑，建造了自己的高等级数据中心，企业的决策者从未来发展的角度考虑，单纯做数据中心场地销售在现有激烈的市场竞争的环境中很难长时间利于不败之地。因此作为企业未来发展的方向，需要构建自己企业私有云增加自身商业附加值。根据策略设计，企业高等级数据中心将主要面向企业客户提供企业私有云服务。
1.2.2 私有云业务驱动力
1.2.2.1 业务目标客户
根据第三方机构统计：
当前在制造、政府、互联网（Web 2.0）、教育、金融市场规模较大，预计到2017年以上行业增长迅速、仍将是市场需求规模最大的行业。
制造业主要使用云应用如协作类应用或一些CRM类的应用，这些应用不是某企业的强项，但是可以与这些应用开发商合作为其提供私有云平台。
Web2.0指互联网公司如移动游戏，在线游戏，电子商务企业，其需要大量带宽支撑业务运作，故也不是某企业的优势所在。
中小金融、政府为大需求客户，其对云的要求是安全性和可靠性，即企业托管私有云。
某企业具有较强的项目经验和客户关系的行业：
电信
政府
金融
教育
1.2.2.2 目标客户的业务应用特性
由于某企业以后主要面向企业提供私有云服务，这与面向一般消费者有较大的不同，对服务保障提出了较高的要求，因此在销售云资源时，绑定销售诸如安全、监控、报告等增值服务，并尽可能作为标准服务的一部分。
针对企业级客户的需求特征，某企业私有云的应具有如下特征：
某企业的私有云将运行企业级工作负载。
1.2.3 私有云总体目标
在基于高等级数据中心的私有云层面，首先是云计算数据中心的建设，云计算数据中心相比传统数据中心，单系统的应用数据中心，由于具备虚拟化、按需分配等与生俱来的特点，就具备当系统规模达到一定程度时，在系统建设性价比方面表现出很大的优势。目前来说，云计算数据中心的建设所需要的软硬件技术和产品，已经可以支撑成熟商用，所以在云服务架构下的建设方案中，规划和建设一个云计算数据中心，是可行的选择。另外在基础设施层面，按照云计算标准建设的基础设施管理、运维管理、安全管理等技术，会给某企业业务扩展和运维中带来相当的收益。
根据某企业私有云的业务发展规划，将基于云计算及相关技术打造高效、绿色、节能和自动化管理的云平台。并基于云平台提供企业私有云托管服务。
2.1 选型原则
作为IDC运营，需要考虑到经济性和实用性，某企业私有管理平台应选用最佳的性价比软件部署方案，现阶段在满足试点要求指标的前提下，采用免费的软件方案，得到最佳的投入产出比。因此考虑某企业私有云管理平台将基于开源云平台开发定制，目前业界的开源云平台主要有CloudStack，Eucalyptus，OpenStack，OpenNebula等，平台的技术选型将遵循以下原则。
a) 社区规模是对开源社区运作情况的综合评定，判定标准主要包括社区主题数量、社区讨论帖数量、社区参与人数、社区总人数，开发者人数和贡献机构数量等。社区通过讨论主题和讨论帖子进行一切事物的讨论包括发展方向，版本更新，功能增加，错误处理，开发讨论等等，数量直接说明项目发展情况；社区人数参与人数为参与设计讨论的人员数量；社区开发者人数与贡献机构数量决定了项目发展速度、质量。综合评定以上信息可以较好的比较社区规模，社区规模越大，越有利于项目健康、高效、民主的发展。
b) 市场使用规模表现了项目至今为止的市场接受程度。开源云平台已经拥有的用户与使用案例在一定程度上说明了平台的整体能力。另一个层面，分析用户的领域、地域的使用情况，可以一定程度说明开源云计算平台的普适性。
c) 开放性是开源云平台相对于企业云产品的最大特点。开放程度越好的开源云平台更易于用户对云平台的了解与使用。具体开放性的比较可以通过：开源License、开源云平台提供的可编程接口（API）、开源云平台文档的详细程度。
d) 可用性与可靠性是开源云平台的基础。开源云平台的整体架构设计决定了云平台自身的特性与可用功能，也决定了平台可使用的高可用方案，决定了开源云平台自身的可靠性。通过比较开源云平台的整体架构以及官方推荐的高可用方案，评价四个开源云平台的可用性与可靠性。
e) 功能性的比较主要通过对Hypervisor的支持情况、存储的支持情况、网络的支持情况、虚拟资源分配管理与虚拟资源计量的分析。私有云需要的基本功能，各个平台都有实现，但功能的具体实现程度与新兴技术的支持程度，四个开源云平台还存在一定差异。
f) 可扩展性是开源云平台定制化程度的体现。虽然开源云平台源代码完全开源，但二次开发也并非将原有平台底层逻辑重新实现，而是通过平台提供的接口或是以插件的形式实现功能上的扩展与增强。另一方面，私有云扩展能力也包括与公有云协作实现混合云的方案，为此，分析四个开源云平台的接口协议、插件模式和与公有云协作方案，实现可扩展性的比较。
g) 涉及到基于开源云平台的客户化，二次开发成本是一定会考虑到的一个方面。通过分析四个开源云平台的团队再开发难度、再开发所需要的技能与二次开发提供商，比较开源云平台的二次开发成本。
h) 开源云平台会持续推进并发布新的版本，版本发布周期一定程度上影响用户的使用。若版本更新太快会导致用户系统更新过于频繁，若版本更新太慢会导致新功能的提供延迟，根据比较四个开源云平台以往的版本发布周期，来预测评估社区对新版本发布的能力。
i) 与需求的适应度，选用的开源云平台应该最大程度的适应某企业私有云管理平台的需求，并结合某企业现有的技术实力与团队技能，降低后期平台的开发、维护工作量，以避免平台建设的投入过大导致收益下降。
2.2 开源云平台的比较一览
2.3 与需求的适应度
**
选用的开源云平台应该最大程度的适应某企业私有云平台的需求，并结合某企业现有的技术实力与团队技能，降低后期平台的开发、维护工作量，以避免平台建设的投入过大导致收益下降。从需求的适应度来看，依据某企业在OpenStack领域的开发与服务技能，结合其整体功能完备性，架构优越性，更适用与作为某企业私有云平台的构建技术。此外，当前的OpenStack版本已经开始通过ironic模块支持对金属裸机的自动化部署，并且在不断发展与完善中，更符合某企业私有云服务开发的需求，节省开发工作量与投资成本。
**2.4 开源云平台的选型结论
OpenStack借助着强大的社区规模与大量的贡献者规模，保持着高速发展，在开源基础设施云领域表现抢眼，并渐渐形成生态系统。在吸引到IBM、Intel等业界巨头的支持后，原本稳定性的问题的得到了很好的解决，整体前景较好。
CloudStack曾经为商业软件，总体功能较为齐全，系统相对稳定，近期由于OpenStack社区的高速发展，关注度下降的同时存在用户向OpenStack流失的情况。
Eucalyptus作为AWS的私有云项目，设计与功能大多沿用AWS，长期使用AWS的用户上手容易，并且与AWS公有云有很好的兼容性。但扩展性相对其它平台比价一般，用户相对单一，社区发展较为缓慢。
OpenNebula目标为轻便简单的企业云，所实现的功能基本涵盖简单的公有云，私有云及混合云，但社区规模较小、用户群、贡献者规模都较小，整体竞争力较低。
各个平台设计架构上的不同，每个平台有着各自的特点与相对固定的用户。对于某企业建立云化数据中心提供私有云服务而言，OpenStack从某企业内部技能，平台架构，功能匹配度，二次开发量及维护工作方面，相对于其他三种开源云平台优势明显。我们建议中心基于OpenStack建设开发测试环境私有云平台。
3.1 分步建设策略
某企业云服务产品体系总体建设策略可归纳为“一个基础，两个突破”：
一个基础
借助于私有云技术，建立集中的基础运行平台，提供基于弹性计算资源供给的能力，有效提升系统使用率及自动化管理程度，降低建设运营成本。
** 突破一**
未来可以推出PaaS，突破传统的应用开发模式PaaS，在云平台上实现应基于模式的平台部署服务，参与乃至引市场在PaaS方面的建设。
** 突破二**
未来考虑整合SaaS，向行业突破整合SaaS应用，一方面利用优质的应用基础推动云平台软件即服务的市场化，另一方面利用优质客户资源吸收区域内专业应用，实现应用数量的规模发展，以及由通用应用领域向行业领域挺进。
3.2 落地实现
根据分步建设规划策略，我们对实现可管理成熟度供应商能力的落地实现进行分解，并结合某企业业务规划战略，对私有云服务平台的落地实施提供建议。
随着某企业数据中心的建设进程，对新数据中心私有云服务平台建设也将随之开展，而第一阶段的定位实现可管理的私有云服务平台落地实施。
** 阶段性建设目标**
完成数据中心首个云资源池（PoD）的构建；
完成云化数据中心的基础设施与管理框架的构建；
实现云管理平台基本的资源管理能力和自动化部署能力；
完成对云化数据中心资源与云管理平台的基础管理控制功能；
实现云管理平台基本业务功能，包括门户，客户管理，服务产品与目录管理，服务请求处理；
** 实施范围**
在新数据中心中实现第一个PoD的建设，并构建私有云管理平台基础功能，提供基本的云服务产品的对外运营。
实施时间段定义
新数据中心基础架构建设完成后半年。
4.1 私有云管理平台
4.1.1 业务功能
根据业务功能要求对私有云管理平台的各项业务功能进行测试，测试依据用户使用场景进行，可选取关键的业务场景进行测试，包括客户管理，服务请求管理，用户管理，订单管理，计费管理，服务目录与产品管理资源管理等内容。同时关注友好性和可服务性。
4.1.2 部署能力
验证云私有云管理平台的部署能力与规模承载能力，测试对资源的交付与部署的效率。主要关注灵活性，可扩展性，Hypervisor支持程度，并发部署与处理性能，平台可容载与管理的资源数量等。
4.1.3 集成能力
验证私有云管理平台的接口功能，测试接口是否具备多样性，各类接口提供的服务是否满足管理与集成的需求，包括API接口的类型，执行效率，集成开发的难以程度，系统间消息传递集成接口的效率等。
4.2 资源池
4.2.1 计算资源
计算资源设备测试基本按照计算设备提供厂商的基线提供相关报告与依据即可。
4.2.2 存储资源
存储设备的测试，主要检验方案和设备能正常运行业务，且在各种故障场景下不影响数据中心的正常运行，同时能够提供持续性的数据保护能力。
存储部分的测试主要分成基本功能测试、可靠性测试和性能测试。
基本功能测试主要针对设备本身，检验设备是否能正常加电，系统是否能正常运行，链路间是否通畅、稳定等；一般采用设备厂家的检测方法判定。
可靠性测试主要检验设备内模块故障对系统的运行是否产生影响，链路中断对存储整体产生的波动等；一般需要针对设备的各种组成模块，模拟对应的故障场景，同时进行不间断业务运行来判定。
性能测试主要检验存储设备自身的各种性能指标，如存储带宽、IOPS、SAN交换机性能、数据复制性能等；一般可采用IOmeter、交换机监控、DD拷贝等方式判定。
4.2.3 网络资源
网络资源在构建时应考虑以下测试要点：
检查网关设备到服务器的连通性；
检查网关设备到存储设备的连通性；
检查新建网络环境和某企业现有网络环境的连通性；
检查新建网络环境和Internet的连通性；
检查云管理平台不同VLAN虚拟机之间的连通性；
检查云管理平台和资源池到存储设备之间的连通性；
检查云管理平台虚拟机和外部网络的连通性；
检查资源池同一VLAN内虚拟机的连通性；
检查资源池不同VLAN内虚拟机的连通性；
检查资源池内虚拟机和外部网络的连通性。
4.3 安全体系
** 物理安全：**
测试要点：机柜配置独立门锁
测试方法：机柜有配置门锁并且不是通用。
** 网络安全**
测试要点：防火墙是否支持虚拟化。
测试方法：为单个用户创建独立虚拟防火墙，安全策略不相互影响，能够单独出安全报告。
测试要点：IPS支持虚拟化
测试方法：为单个用户创建独立虚拟IPS，安全策略不相互影响，能够单独出安全报告。
测试要点：VPN支持多种协议。
测试方法：测试VPN支持IPSEC，SSL和PPTP VPN方式
** 存储安全**
测试要点：存储设备支持存储加密
测试方法：存储设备是否开启存储加密功能
测试要点：存储设备是否配置了合理的管理口令
测试方法：验证是否可以不用口令或者默认口令登陆存储管理接口
** 服务器安全**
测试要点：IPMI是否安全配置
测试方法：参考IPMI的安全配置最佳实践，检查IPMI协议是否安全配置
测试要点：BIOS是否安全配置
测试方法：检查BIOS，是否根据规范进行安全配置，如启动顺序，管理口令，禁用的设备等
测试要点：PXE是否安全配置
测试方法：检查PXE是否安全配置，环境中支持的PXE的DHCP服务器是否安全配置。
** 虚拟化安全**
测试要点：虚拟化组件是否安全配置（包括虚拟网络、虚拟存储和虚拟机）
测试方法：参照虚拟化组件的安全配置最佳实践，检查虚拟化组件是否安全配置
测试要点：虚拟化管理系统是否安全配置
测试方法：检查虚拟化管理系统是否进行了安全配置，和其他系统的接口权限是否合理。
测试要点：创建的虚拟机模板是否有存在安全弱点
测试方法：使用弱点评估工具扫描虚拟机模板，检查是否存在安全弱点
系统安全
测试要点：系统是否安全配置
测试方法：系统安全配置规范，检查系统是否被安全配置
数据安全
测试要点：残余数据是否被有效清除
测试方法：检查云管理平台在分配和回收磁盘空间时是否会进行空间清零。
运维安全
测试要点：所有多云环境的管理操作是否都是通过堡垒进行的
测试方法：尝试是否有其他直接对云环境进行管理操作的方式。
