> 虚拟化 Virtualization > Proxmox >

PVE Ceph 存储服务器配置要求及集群注意事项

服务器配置要求

  • CPU

每个 Ceph 服务分配一个 CPU 内核。

  • 内存

对于大约 1 TiB 的数据,通常 OSD 将使用1 GiB 的内存。

Bluestore 后端守护进程默认需要 3-5 GiB 内存 (可调整)。

  • 网络

建议使用至少 10 GbE 或更高的网络带宽 专供 Ceph 使用。

一个 HDD 可能不会使 1 Gb 链路饱和,但是每个节点可以有多个 HDD OSD,可以使链路带宽饱和。

NVMe SSD 将甚至可以快速使 10 Gbps 的带宽饱和, 25、40 甚至 100 Gbps 都是可能的。

  • 磁盘

一般来说,SSD 将提供比旋转磁盘更多的 IOPS。 考虑到这一点, 除了更高的成本外,实施一个 基于 CLASS 的池分离。

另一种方式 加速 OSD 是使用更快的磁盘作为 journal 或 DB/WAL。

需要平衡 OSD 数量和单个 OSD 容量。例如:3 Nodes, 12 OSDs +

避免使用 RAID 控制器。 请改用主机总线适配器 (HBA)。

PG 自动缩放

  • 警告(warn) 模式:如果建议的pg_num值与当前值相差太大,则会发出健康警告。 这是新池和现有池的默认设置。
  • 启用(on) 模式:无需任何管理员交互即可自动调整池pg_num。
  • 禁用(off) 模式:还可以为任何给定池关闭autoscaler,让管理员像以前一样手动管理pg_num。

关于存储池 min_size

min_size 至少设置为 2,不要将 min_size 设置为 1 。 min_size 为 1 的复制池当对象只有 1 个副本时允许在对象上进行 I/O,这可能会导致数据丢失、不完整的 PG 或未找到的对象。

销毁 OSD 操作命令

ceph osd out osd.<id>
ceph osd safe-to-destroy osd.<id>
systemctl stop ceph-osd@<id>.service
pveceph osd destroy <id>



(责任编辑:IT)