某医院数据中心虚拟化解决方案

　　运用计算机科技的力量，不断揭开生命的奥秘，为人类的健康和进步提供强有力的保障。

　　项目背景描述

　　· HPC刀片服务器数量为1200台。分布在25个机柜中。

　　· 存储系统总容量约为50PB。分布在130个机柜中。

　　· 存储系统可以通过FC SAN和NAS的方式进行数据的读写。

　　· HPC平台选用开源软件。

　　· 网络有3种：管理网络、计算网络、存储网络。

　　网络需求分析

• 　　管理网络

　　管理网络流量包括：

　　· 主节点向计算节点发送的图像或数据包

　　· IPMI 流量(只能是 TCP)

　　· 监控流量(从客户端到主节点)

　　· 报告流量(从客户端到主节点的报告数据)

　　· ssh 流量(TCP)

　　· 任务调度流量(一般是 TCP)

　　管理流量相对较小，属性为低IO、低时延。

• 　　计算网络

　　· 计算流量，这是作为计算应用程序的一部分在节点之间交换的数据。

　　· 计算网络承载了HPC应用的大部分流量，属性为高IO、低时延。

　　· 在并行运算时，任务会切分给尽可能多的服务器，以提高运算效率。网络设计需要考虑较小的收敛比。

• 　　存储网络

　　· HPC运算时，会产生大量的中间数据和最终数据，这些数据都需要在存储系统进行读和写的操作。属性为高IO、低时延。

　　· 存储网络分为FC SAN网络、NAS网络。

　　网络设计

　　将管理网和计算网合并为一张网络。由于存储系统需要极高要求的IO，所以分为2张网络。第一张存储网是FC SAN网络。第二张存储网是NAS网络。

• 　　管理/计算网络设计

　　· 网络以ToR交换机为单位，共有25个ToR。每个ToR下联有48台服务器。共有1200台服务器。

　　· 使用1台Nexus9396PX作为ToR交换机。

　　· 设置2台Nexus9516作为网络核心。

　　· 每台Nexus9396PX共使用12个40GE与2台Nexus9516互联。

　　· 每台Nexus9396PX共使用48个万兆与48台服务器互联。

　　· 每台服务器为管理/计算网络设置1个万兆端口。

• 　　存储NAS网络设计

　　· 存储NAS网络设计与管理/计算网络相同。

　　· Nexus9516使用24个10GE与存储系统相连。

　　· 在1200台刀片通过NAS网络进行存储数据读/写并发情况下，每个刀片可以获得200M的NAS存储性能。

　　· 从上述数据来看，NAS网络IO的瓶颈不在于网络和刀片，而是存储机头。

• 　　存储FC SAN网络设计

　　· 使用压缩核心/边缘FC SAN网络设计。

　　· 将1200台服务分成5个POD。

　　· 每个POD使用2台MDS9710作为FC SAN交换机。

　　· 每台MDS9710使用128个16G FC接口与存储系统互联。

　　· 每台MDS9710使用256个16G FC接口与256台服务器互联。

　　· 每个POD共有256台服务器，每台服务器为FC SAN网络设置2个16G FC端口。所有刀片流量并发时，每个刀片可获得16G带宽。

　　· 在1200台刀片通过NAS网络进行存储数据读/写并发情况下，每个刀片可以获得200M的FC SAN存储性能。

• 　　管理/计算网络设计

　　· 网络以POD为单位，划分为25个POD。每个POD有48个刀片服务器。共有1200个刀片服务器。

　　· 每个POD使用2台FI_6296(96口万兆)作为汇聚层交换机。

　　· 设置2台Nexus9508作为网络核心。

　　· 2台FI_6296共使用24个万兆与2台Nexus9508互联。

　　· 2台FI_6296共使用24个万兆与6个刀箱互联。

　　· 每个POD共有48个刀片服务器，每个刀片为管理/计算网络设置1个万兆端口。每个刀片的带宽收敛比为1:2。所有刀片流量并发时，每个刀片可获得5G带宽。

• 　　存储NAS网络设计

　　· 存储NAS网络设计与管理/计算网络相同。

　　· Nexus9508使用24个10GE与存储系统相连。

　　· 以NetApp存储系统为例：50PB的存储为了达到高性能大约需要24台机头，分为12对。(最多只能使用24台机头)

　　· 每台机头的处理性能为10G。那么共需要240G带宽。

　　· 在1200台刀片通过NAS网络进行存储数据读/写并发情况下，每个刀片可以获得200M的NAS存储性能。

• 　　存储FC SAN网络设计

　　· 设置2台MDS9710作为FC SAN网络核心。

　　· 2台MDS9710使用24个16G FC与存储系统互联。

　　· 2台FI_6296共使用32个8G FC与2台MDS9710互联。

　　· 2台FI_6296共使用48个8G FC与6个刀箱互联。

　　· 每个POD共有48个刀片服务器，每个刀片为FC SAN网络设置1个8G FC端口。所有刀片流量并发时，每个刀片可获得5.3G带宽。

　　· 在1200台刀片通过NAS网络进行存储数据读/写并发情况下，每个刀片可以获得200M的FC SAN存储性能。

　　思科统一计算系统

　　· 统一架构——三网合一(LAN、SAN和管理网络的融合)

　　· 统一管理——UCSM嵌入式管理平台可管理160台刀片服务器和机架服务器

　　· 基于角色的管理——LAN, SAN, and Server Administrators

　　· 多链路冗余——没有单点故障

　　· 易扩展——仅仅是刀箱的扩展，无需额外增加以太网模块和FC模块，扩展成本更低

• 　　思科 UCS 架构优势

　　嵌入式管理系统

　　移除不必要的设备(交换机，网卡，管理模块)

　　融合的网络(网络，存储，管理)

　　能耗与冷却(减少1/3的基础设备、更少的能耗)

　　虚拟化优化(处理器密度、单服务器虚拟机密度、I/O性能、扩展内存)

• 　　部署思科UCS系统后

　　· 大大改善了机柜布局，实现了良好的通风散热

　　· 布线，只需要考虑总带宽

　　· 布线井井有条。基于UCS的“一次布线”技术，任意服务器的角色改变，都无需改变布线，哪怕一根跳线。

　　· 优化的架构=高扩展性

　　· 管理层面的创新

　　· 网络硬件高可用