oVirt超融合的设计分析(gluster和raid) 据初步分析,红帽ovirt超融合目前的架构应该是要和raid卡配合用才能达到理想的效果。ovirt超融合支持raid卡的JBOD(直通模式)、raid5、raid6、raid10模式,针对每一种模式ovirt在gluster这个层面做了性能优化(具体细节还不得知),这也是为什么ovirt超融合部署时要正确的选择对应硬件raid卡配置的模式。 ovirt超融合支持全SSD、全HDD、HDD+SSD缓存这三种存储配置模式,用raid卡将所有磁盘组成一个盘暴露给gluster创建成存储卷进行管理,当然也可以建多个raid实现三种模式的共存,原版默认情况下是只能启用其中一种(我们先遵循这种方式),ovirt中是在一个盘上创建多个存储卷。 ovirt超融合的思路应该是尽可能用raid卡去管理磁盘、用gluster去管理节点,raid卡负责本机节点上的磁盘层面上的高可用,gluster利用副本负责集群中本节点的高可用,如此一来就简单多了: 1、我们重点关心节点而不是每个磁盘,降低管理磁盘的复杂度,扩容盘、替换盘这些让raid卡去干(要求raid卡要支持在线扩容,即使raid卡支持扩容还需要ovirt做对应的工作,目前是不支持的); 2、不再为磁盘个数纠结,只需要能够满足做raid的数量要求即可(当然要兼顾性能需求),盘数灵活; 3、数据盘可以是单块直通、做raid0或多块做raid5、6、10,系统盘可以是单块直通、做raid0或用两块做raid1,缓存盘可以是单块直通、做raid0或两块做raid1,根据这种情况我们制定几个推荐配置即可,比如安全要求高的就系统盘、缓存盘都做raid1,普通测试场景就可以单盘不做raid(不带raid卡的机器也可以用); 4、ovirt超融合gluster虽然是三副本,但有一个副本是起仲裁作用,几乎不占空间,所以在空间占用上是相当于两副本(另外现在支持压缩去重功能,存储空间的问题能够得到改善); 5、目前我们还是要先按官方推荐,3节点起步,3节点扩展; 6、关于磁盘状态监测我们通过raid卡的接口来做,没有raid卡则不支持此功能。 总体来说就是磁盘管理交给raid卡,gluster集群负责节点的高可用。 关于raid卡和JBOD: 有多种解释和理解,我总结了下: 1、JBOD类似于raid0,可以将多块盘组成一个,但是是顺序写入(一块盘写满写另一块),而不是raid0的分布式写入,所以性能上不如raid0; 2、某些raid卡中,JBOD就代表直通模式,可以每块磁盘都配成JBOD直通使用,也可以多块磁盘配成一个大盘直通使用。lsi的卡是这样,但有些oem它的厂商写的是non-raid,例如dell服务器。non-raid也代表直通模式。一般JBOD和其它raid模式不能同时用。 3、某些raid卡中,hba模式就是直通模式,adaptec的卡是这样,oem它的厂商例如dell也是这样叫的,另外adaptec有的卡是支持raid和hba直通同时用的。 4、raid卡厂商主要有lsi和Adaptec(被pmc收购了)两家,大部分服务器厂家都是oem它们的卡或用的它们的芯片,包括超微和浪潮。 (责任编辑:IT) |