openstack 与 ceph (架构)
参考架构
硬件配置
ceph 由 7 台 华为 RH2288A 组成, 硬件信息:
| 硬件 | 型号 | 数量 | 统计 |
|---|---|---|---|
| cpu | Intel(R) Xeon(R) CPU E5-2630 v2 @ 2.60GHz | 2 | 24核 |
| 内存 | 16GB | 4条 | 64GB |
| 硬盘 | 4.0 TB | 12 | 48TB |
| 网卡 | 千兆 | 2 | 2 |
| 网卡 | 万兆 | 2 | 2 |
参考主机信息
| 主机名 | bond0 | bond0mask | bond0gw | bond1 | bond1mask | bond1gw |
|---|---|---|---|---|---|---|
| hh-yun-ceph-cinder015-128055.vclound.com | 10.199.128.55 | 255.255.252.0 | 10.199.128.1 | 240.30.128.55 | 255.255.248.0 | null |
| hh-yun-ceph-cinder016-128056.vclound.com | 10.199.128.56 | 255.255.252.0 | 10.199.128.1 | 240.30.128.56 | 255.255.248.0 | null |
| hh-yun-ceph-cinder017-128057.vclound.com | 10.199.128.57 | 255.255.252.0 | 10.199.128.1 | 240.30.128.57 | 255.255.248.0 | null |
| hh-yun-ceph-cinder023-128073.vclound.com | 10.199.128.73 | 255.255.252.0 | 10.199.128.1 | 240.30.128.73 | 255.255.248.0 | null |
| hh-yun-ceph-cinder024-128074.vclound.com | 10.199.128.74 | 255.255.252.0 | 10.199.128.1 | 240.30.128.74 | 255.255.248.0 | null |
| hh-yun-ceph-cinder025-128075.vclound.com | 10.199.128.75 | 255.255.252.0 | 10.199.128.1 | 240.30.128.75 | 255.255.248.0 | null |
| hh-yun-ceph-cinder026-128076.vclound.com | 10.199.128.76 | 255.255.252.0 | 10.199.128.1 | 240.30.128.76 | 255.255.248.0 | null |
ceph 集群组成部分
monitor 节点
CEPH 集群需要至少一个 MONITOR, 一个或多个 OSD 复制对象存储到集群中, 为提高可用性, 当前集群使用了 3 个 MON 进程.
初始化 MONITOR 是部署 CEPH 存储集群的第一步
监控设定了整个集群的重要标准, 例如复制池的数量, 每个 OSD 的 PG 数量, 心跳时间间隔及认证
上述的值可以按照默认设定, 但生产环境下最好知道这些值的作用osd
OSD 进程, 用于存储数据, 控制数据复制,恢复, reblance, 为 ceph mon 提供监控信息, 自带 osd 心跳
一个 CEPH 集群具有两份数据副本复制时, 那么集群中至少需要两个 osd 进程处于活动状态 (显示为 active+clean)openstack 与 ceph
ceph 块设备使用 thin-provision (非预占式), 可以重定义大小, 线性方式存储数据到 ceph 集群中的多个 osd,
ceph 块设备影响 RADOS 性能, 如快照, 复制及同步, ceph 的 RADOS 块设备 (RBD) 接口通过内核模块或者 librdb 库工作
注意: 内核模块可以使用 linux 页缓存, librdb 基于应用层, ceph 支持 RDB 缓存
可以使用 ceph 块设备 images 与 openstack libvir 进行对接, 配置 QEMU 接口连接 librbd, ceph 条带块设备镜像作为对象跨越到整个集群,
使用大的 ceph 块设备性能会比使用一个独立的标准服务器要好
openstack 使用 ceph 块设备, 你需要先安装 QEMU, libvirt 与 openstack
我们推荐使用分离的物理节点进行安装 openstack, openstack 推荐至少使用 8G 及多核 CPU,
参考下面的 openstack/ceph 逻辑结构可以利用 ceph 块设备 images 与 openstack libvir 进行对接 QEMU 接口连接 librbd
利用 ceph 创建的虚拟块设备会以条带方式存放在整个 ceph 集群中
openstack 要使用 ceph 块设备, 你需要先安装 QEMU, libvirt 与 openstack, 并把 ceph 存储配置完成+--------------------+
| openstack |
+--------------------+
| libvirt |
--------------------+
|
| configure
|
+--------------------+
| qemu |
+--------------------+
| librbd |
+--------------------+
| librados |
+-------+-+----------+
| osds | | monitors |
+-------+ +----------+注意: 假如你希望利用 ceph 启动虚拟机, 但ceph 不支持 qcow2 作为虚拟机磁盘格式, glance image 格式必须是 raw
