一、某某公司超融合项目整体网络拓扑

某省某某公司科技有限责任公司研发测试平台超融合项目整体网络拓扑，如图1所示：

节点1~3服务器

节点1~3服务器采用超融合架构，主要用于研发测试平台，部署在某某公司办公室对面的机房，建设内容包括：

1）服务器设备，在服务器机柜部署3台服务器硬件；

2）虚拟化套件，在服务器上部署1套虚拟化套件PVE；

3）分布式存储，在服务器上部署1套分布式存储套件Ceph。

三层交换机

在服务器机柜中部署1台华三S5110V2-28P-SI弱三层交换机，建设内容包括：

1） 服务器集群接入，独立划分VLAN网段，用于实现节点1~3服务器集群接入；

2）接入既有网络，用于接入既有交换机S1724G，实现接入既有网络，通过既有网络实现服务器集群与互联网互通。

注意，由于3个节点服务器组建成集群，且使用Ceph搭建分布式存储，为保证性能，保证虚拟机迁移速率，强烈建议采用全万兆交换机部署。由于客户预算问题，本项目采用了全千兆交换机部署。

研发测试工位

研发工位与测试工位接入到既有交换机S1724G，建设内容包括：

1）研发测试工位保持既有的上网IP地址和网关不变；

2）研发测试工位实现访问超融合服务器集群的业务虚拟主机。

既有服务器群

既有服务器运行着某某公司的应用系统，如研发管理系统、测试管理系统、OA系统等等，既有服务器群与研发测试超融合平台不做互联互通。

二、服务器基础配置

本项目中，通用服务器硬件采用的是白牌服务器Baixxxx-Cloud-X10，Baixxxx-Cloud-X10是一款2U双路高端旗舰机架式服务器，以强劲的计算性能，完善的生态兼容，极致的空间扩展能力，满足各行业应用配置需求，适用于数据分析处理、深度学习分布式存储等多种应用场景。白牌服务器Baixxxx-Cloud-X10 如图2 所示。

图2. 白牌服务器Baixxxx-Cloud-X10

白牌服务器Baixxxx-Cloud-X10的技术规格如表1所示：

表1. Baixxxx-Cloud-X10的技术规格

2.1.RAID规划

本项目中，白牌服务器Baixxxx-Cloud-X10是八盘位，如图3所示。

图3. 白牌服务器Baixxxx-Cloud-X10的盘位

白牌服务器Baixxxx-Cloud-X10有八个盘位，一共有2 块1.9TB SSD盘，2块480GB SSD盘，4块8TB HDD盘。

2.1.1 系统盘

在每个节点服务器上，2块480GB SSD盘组成RAID1，作为系统盘。做RAID1之后，2块480GB SSD盘相互备份，容量只有一半，系统文件存放在RAID1盘中。除了2块480GB SSD盘做RAID1之外，其余SSD盘、HDD盘均不做RAID。

2.1.2 Ceph盘

本项目中，后端存储采用Ceph分布式存储搭建，为了保证可靠性，Ceph采用了数据多副本的存储方式，这意味着不再需要RAID，也就克服了 RAID 存在的诸多问题。换句话说，Ceph已经解决了容错问题，无需使用RAID。

红帽官网文档有关于构建Ceph存储集群时，不建议基于RAID盘创建OSD，除了系统盘之外，其余磁盘全部设置为非RAID模式。也就是说，Ceph不要与RAID混合使用，如果已经使用了Ceph的话，应该禁用RAID，将RADI控制器配置为RAID0，如图4所示。

图4. 红帽官网Ceph章节对RAID使用建议

2.2 服务器网卡规划

本项目中，白牌Baixxxx-Cloud-X10服务器一共有5张物理网卡，物理网卡的IP 地址规划如图5所示。

 

图5. Baixxxx-Cloud-X10服务器网卡规划

2.3 服务器IPMI接口

IPMI是指一组用于带外管理的计算机接口规范。带外是指无需与系统的物理资产位于同一区域即可访问计算机系统。IPMI 支持远程监视，不需要计算机操作系统的许可。IPMI 在连接到主板或服务器的单独硬件上运行。此单独的硬件是底板管理控制器（BMC）。

通常情况下，白牌Baixxxx-Cloud-X10服务器的IPMI 接口的默认用户名为：ADMIN，密码则贴在机箱前面板上，或者是机箱中的主板上。IPMI 主板集成管理芯片BMC的IP的首次设置，需要在服务器开启时按“DEL”键进入BIOS 设置，具体步骤略。如对该步骤设置感兴趣，请参见《GPU直通+单节点单业务vlan的虚拟网络项目实战》博文。

当IPMI接口的IP地址设置好之后，可通过WEB UI进入查看服务器监控系统，如节点1服务器的IPMI接口的IP地址是10.129.255.21，使用https登录进入IPMI监控系统，如图6所示。

图6. 服务器IPMI监控系统界面

2.4 服务器数据接口

有关服务器数据接口的IP 地址规划，详见表2。具体配置详见《5.3.2.业务网络配置》的章节，这里不再赘述。

2.5 服务器管理接口

有关服务器管理接口的IP 地址规划，详见表2。具体配置详见《5.3.1.管理网络配置》的章节，这里不再赘述。