PVE Ceph 存储服务器配置要求及集群注意事项
时间:2021-12-18 14:35 来源:linux.it.net.cn 作者:IT
服务器配置要求
-
CPU
每个 Ceph 服务分配一个 CPU 内核。
-
内存
对于大约 1 TiB 的数据,通常 OSD 将使用1 GiB 的内存。
Bluestore 后端守护进程默认需要 3-5 GiB 内存 (可调整)。
-
网络
建议使用至少 10 GbE 或更高的网络带宽 专供 Ceph 使用。
一个 HDD 可能不会使 1 Gb 链路饱和,但是每个节点可以有多个 HDD OSD,可以使链路带宽饱和。
NVMe SSD 将甚至可以快速使 10 Gbps 的带宽饱和, 25、40 甚至 100 Gbps 都是可能的。
-
磁盘
一般来说,SSD 将提供比旋转磁盘更多的 IOPS。 考虑到这一点, 除了更高的成本外,实施一个 基于 CLASS 的池分离。
另一种方式 加速 OSD 是使用更快的磁盘作为 journal 或 DB/WAL。
需要平衡 OSD 数量和单个 OSD 容量。例如:3 Nodes, 12 OSDs +
避免使用 RAID 控制器。 请改用主机总线适配器 (HBA)。
PG 自动缩放
-
警告(warn) 模式:如果建议的pg_num值与当前值相差太大,则会发出健康警告。 这是新池和现有池的默认设置。
-
启用(on) 模式:无需任何管理员交互即可自动调整池pg_num。
-
禁用(off) 模式:还可以为任何给定池关闭autoscaler,让管理员像以前一样手动管理pg_num。
关于存储池 min_size
min_size 至少设置为 2,不要将 min_size 设置为 1 。 min_size 为 1 的复制池当对象只有 1 个副本时允许在对象上进行 I/O,这可能会导致数据丢失、不完整的 PG 或未找到的对象。
销毁 OSD 操作命令
ceph osd out osd.<id>
ceph osd safe-to-destroy osd.<id>
systemctl stop ceph-osd@<id>.service
pveceph osd destroy <id>
(责任编辑:IT)
服务器配置要求
每个 Ceph 服务分配一个 CPU 内核。
对于大约 1 TiB 的数据,通常 OSD 将使用1 GiB 的内存。 Bluestore 后端守护进程默认需要 3-5 GiB 内存 (可调整)。
建议使用至少 10 GbE 或更高的网络带宽 专供 Ceph 使用。 一个 HDD 可能不会使 1 Gb 链路饱和,但是每个节点可以有多个 HDD OSD,可以使链路带宽饱和。 NVMe SSD 将甚至可以快速使 10 Gbps 的带宽饱和, 25、40 甚至 100 Gbps 都是可能的。
一般来说,SSD 将提供比旋转磁盘更多的 IOPS。 考虑到这一点, 除了更高的成本外,实施一个 基于 CLASS 的池分离。 另一种方式 加速 OSD 是使用更快的磁盘作为 journal 或 DB/WAL。 需要平衡 OSD 数量和单个 OSD 容量。例如:3 Nodes, 12 OSDs + 避免使用 RAID 控制器。 请改用主机总线适配器 (HBA)。 PG 自动缩放
关于存储池 min_sizemin_size 至少设置为 2,不要将 min_size 设置为 1 。 min_size 为 1 的复制池当对象只有 1 个副本时允许在对象上进行 I/O,这可能会导致数据丢失、不完整的 PG 或未找到的对象。 销毁 OSD 操作命令
(责任编辑:IT) |