Ceph架构及性能优化-低调大师

Ceph架构及性能优化

2017-11-12 578

对分布式存储系统的优化离不开以下几点：

1. 硬件层面

硬件规划

SSD选择

BIOS设置

2. 软件层面

Linux OS

Ceph Configurations

PG Number调整

CRUSH Map

其他因素

硬件层面

1、 CPU

ceph-osd进程在运行过程中会消耗CPU资源，所以一般会为每一个ceph-osd进程绑定一个CPU核上。

ceph-mon进程并不十分消耗CPU资源，所以不必为ceph-mon进程预留过多的CPU资源。

ceph-msd也是非常消耗CPU资源的，所以需要提供更多的CPU资源。

2、内存

ceph-mon和ceph-mds需要2G内存，每个ceph-osd进程需要1G内存。

3、网络

万兆网络现在基本上是跑Ceph必备的，网络规划上，也尽量考虑分离cilent和cluster网络。网络接口上可以使用bond来提供高可用或负载均衡。

4、 SSD

SSD在ceph中的使用可以有几种架构

a、 ssd作为Journal

b、 ssd作为高速ssd pool(需要更改crushmap)

c、 ssd做为tier pool

5、 BIOS

a、开启VT和HT，VH是虚拟化云平台必备的，HT是开启超线程单个处理器都能使用线程级并行计算。

b、关闭节能设置，可有一定的性能提升。

c、 NUMA思路就是将内存和CPU分割为多个区域，每个区域叫做NODE,然后将NODE高速互联。 node内cpu与内存访问速度快于访问其他node的内存， NUMA可能会在某些情况下影响ceph-osd 。解决的方案，一种是通过BIOS关闭NUMA，另外一种就是通过cgroup将ceph-osd进程与某一个CPU Core以及同一NODE下的内存进行绑定。但是第二种看起来更麻烦，所以一般部署的时候可以在系统层面关闭NUMA。CentOS系统下，通过修改/etc/grub.conf文件，添加numa=off来关闭NUMA。

软件层面

1、 Kernel pid max

 
        echo 
        4194303 > 
        /proc/sys/kernel/pid_max

2、设置MTU，交换机端需要支持该功能，系统网卡设置才有效果

配置文件追加MTU=9000

3、 read_ahead, 通过数据预读并且记载到随机访问内存方式提高磁盘读操作

 
        echo 
        "8192" 
        > 
        /sys/block/sda/queue/read_ahead_kb

4、 swappiness, 主要控制系统对swap的使用

 
        echo 
        "vm.swappiness = 0"
        /etc/sysctl
        .conf ;  sysctl –p

5、 I/O Scheduler，SSD要用noop，SATA/SAS使用deadline

 
        echo 
        "deadline" 
        >
        /sys/block/sd
        [x]
        /queue/scheduler 
       
        echo 
        "noop" 
        >
        /sys/block/sd
        [x]
        /queue/scheduler

6、 ceph.conf配置选项

 
        [global]
        #全局设置 
       
        fsid = 88caa60a-e6d1-4590-a2b5-bd4e703e46d9           
        #集群标识ID  
       
        mon host = 10.0.1.21,10.0.1.22,10.0.1.23            
        #monitor IP 地址 
       
        auth cluster required = cephx                  
        #集群认证 
       
        auth service required = cephx                           
        #服务认证 
       
        auth client required = cephx                            
        #客户端认证 
       
        osd pool default size = 2                             
        #最小副本数 
       
        osd pool default min size = 1                           
        #PG 处于 degraded 状态不影响其 IO 能力,min_size是一个PG能接受IO的最小副本数 
       
        osd pool default pg num = 128                           
        #pool的pg数量 
       
        osd pool default pgp num = 128                          
        #pool的pgp数量 
       
        public network = 10.0.1.0
        /24                            
        #公共网络(monitorIP段)  
       
        cluster network = 10.0.1.0
        /24                           
        #集群网络 
       
        max 
        open 
        files = 131072                                 
        #默认0#如果设置了该选项，Ceph会设置系统的max open fds 
       
        mon initial members = controller1, controller2, compute01 
        #初始monitor (由创建monitor命令而定) 
       
        ##############################################################
       
        [mon]
       
        mon data = 
        /var/lib/ceph/mon/ceph-
        $
        id 
       
        mon clock drift allowed = 1                             
        #默认值0.05#monitor间的clock drift 
       
        mon osd min down reporters = 13                         
        #默认值1#向monitor报告down的最小OSD数 
       
        mon osd down out interval = 600      
        #默认值300      #标记一个OSD状态为down和out之前ceph等待的秒数 
       
        ##############################################################
       
        [osd]
       
        osd data = 
        /var/lib/ceph/osd/ceph-
        $
        id 
       
        osd journal size = 20000 
        #默认5120                      #osd journal大小 
       
        osd journal = 
        /var/lib/ceph/osd/
        $cluster-$
        id
        /journal 
        #osd journal 位置 
       
        osd mkfs 
        type 
        = xfs                                     
        #格式化系统类型 
       
        osd mkfs options xfs = -f -i size=2048                  
        #强制格式化 
       
        filestore xattr use omap = 
        true                         
        #默认false#为XATTRS使用object map，EXT4文件系统时使用，XFS或者btrfs也可以使用 
       
        filestore min 
        sync 
        interval = 10                        
        #默认0.1#从日志到数据盘最小同步间隔(seconds) 
       
        filestore max 
        sync 
        interval = 15                        
        #默认5#从日志到数据盘最大同步间隔(seconds) 
       
        filestore queue max ops = 25000                        
        #默认500#数据盘最大接受的操作数 
       
        filestore queue max bytes = 1048576000      
        #默认100   #数据盘一次操作最大字节数(bytes 
       
        filestore queue committing max ops = 50000 
        #默认500     #数据盘能够commit的操作数 
       
        filestore queue committing max bytes = 10485760000 
        #默认100 #数据盘能够commit的最大字节数(bytes) 
       
        filestore 
        split 
        multiple = 8 
        #默认值2                  #前一个子目录分裂成子目录中的文件的最大数量 
       
        filestore merge threshold = 40 
        #默认值10               #前一个子类目录中的文件合并到父类的最小数量 
       
        filestore fd cache size = 1024 
        #默认值128              #对象文件句柄缓存大小 
       
        journal max write bytes = 1073714824 
        #默认值1048560    #journal一次性写入的最大字节数(bytes) 
       
        journal max write entries = 10000 
        #默认值100         #journal一次性写入的最大记录数 
       
        journal queue max ops = 50000  
        #默认值50            #journal一次性最大在队列中的操作数 
       
        journal queue max bytes = 10485760000 
        #默认值33554432   #journal一次性最大在队列中的字节数(bytes) 
       
        osd max write size = 512 
        #默认值90                   #OSD一次可写入的最大值(MB) 
       
        osd client message size cap = 2147483648 
        #默认值100    #客户端允许在内存中的最大数据(bytes) 
       
        osd deep scrub stride = 131072 
        #默认值524288         #在Deep Scrub时候允许读取的字节数(bytes) 
       
        osd 
        op 
        threads = 16 
        #默认值2                         #并发文件系统操作数 
       
        osd disk threads = 4 
        #默认值1                        #OSD密集型操作例如恢复和Scrubbing时的线程 
       
        osd map cache size = 1024 
        #默认值500                 #保留OSD Map的缓存(MB) 
       
        osd map cache bl size = 128 
        #默认值50                #OSD进程在内存中的OSD Map缓存(MB) 
       
        osd 
        mount 
        options xfs = 
        "rw,noexec,nodev,noatime,nodiratime,nobarrier" 
        #默认值rw,noatime,inode64  #Ceph OSD xfs Mount选项 
       
        osd recovery 
        op 
        priority = 2 
        #默认值10              #恢复操作优先级，取值1-63，值越高占用资源越高 
       
        osd recovery max active = 10 
        #默认值15              #同一时间内活跃的恢复请求数  
       
        osd max backfills = 4  
        #默认值10                  #一个OSD允许的最大backfills数 
       
        osd min pg log entries = 30000 
        #默认值3000           #修建PGLog是保留的最大PGLog数 
       
        osd max pg log entries = 100000 
        #默认值10000         #修建PGLog是保留的最大PGLog数 
       
        osd mon heartbeat interval = 40 
        #默认值30            #OSD ping一个monitor的时间间隔（默认30s） 
       
        ms dispatch throttle bytes = 1048576000 
        #默认值 104857600 #等待派遣的最大消息数 
       
        objecter inflight ops = 819200 
        #默认值1024           #客户端流控，允许的最大未发送io请求数，超过阀值会堵塞应用io，为0表示不受限 
       
        osd 
        op 
        log threshold = 50 
        #默认值5                  #一次显示多少操作的log 
       
        osd crush chooseleaf 
        type 
        = 0 
        #默认值为1              #CRUSH规则用到chooseleaf时的bucket的类型 
       
        ##############################################################
       
        [client]
       
        rbd cache = 
        true 
        #默认值 true      #RBD缓存 
       
        rbd cache size = 335544320 
        #默认值33554432           #RBD缓存大小(bytes) 
       
        rbd cache max dirty = 134217728 
        #默认值25165824      #缓存为write-back时允许的最大dirty字节数(bytes)，如果为0，使用write-through 
       
        rbd cache max dirty age = 30 
        #默认值1                #在被刷新到存储盘前dirty数据存在缓存的时间(seconds) 
       
        rbd cache writethrough 
        until 
        flush = 
        false 
        #默认值true  #该选项是为了兼容linux-2.6.32之前的virtio驱动，避免因为不发送flush请求，数据不回写 
       
        #设置该参数后，librbd会以writethrough的方式执行io，直到收到第一个flush请求，才切换为writeback方式。 
       
        rbd cache max dirty object = 2 
        #默认值0              #最大的Object对象数，默认为0，表示通过rbd cache size计算得到，librbd默认以4MB为单位对磁盘Image进行逻辑切分 
       
        #每个chunk对象抽象为一个Object；librbd中以Object为单位来管理缓存，增大该值可以提升性能 
       
        rbd cache target dirty = 235544320 
        #默认值16777216    #开始执行回写过程的脏数据大小，不能超过 rbd_cache_max_dirty

7、 PG Number

PG和PGP数量一定要根据OSD的数量进行调整，计算公式如下，但是最后算出的结果一定要接近或者等于一个2的指数。

Total PGs = (Total_number_of_OSD * 100) / max_replication_count

例：

有100个osd，2副本，5个pool

Total PGs =100*100/2=5000

每个pool 的PG=5000/5=1000，那么创建pool的时候就指定pg为1024

ceph osd pool create pool_name 1024

8、修改crush map

Crush map可以设置不同的osd对应到不同的pool，也可以修改每个osd的weight

配置可参考：http://linuxnote.blog.51cto.com/9876511/1790758

9、其他因素

ceph osd perf

通过osd perf可以提供磁盘latency的状况，如果延时过长，应该剔除osd

本文转自Jacken_yang 51CTO博客，原文链接：http://blog.51cto.com/linuxnote/1791167，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/473056

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

DotNET企业架构应用实践-数据库表记录的唯一性设计的设计兼议主键设定原则

简要介绍在我们进行数据库设计的时候，大家都会考虑到数据表主键的设计，而可能没有人去关注记录唯一性字段设计，或者说，很多开发人员把这两种混合在一起处理，即就是表记录的唯一性与主键相结合的技术，因为从本质上讲，表主键的值是必须唯一的，他即能确保表记录的唯一性。我在本文提出的思路是分离表记录的唯一性与主表键的设计，也可以理解为是双主键的设计思路，即唯一性设计可以与表业务无关，而表主键的设计必须与业务相关联，一个主键记录一定能具有一定的业务意义。主键设计的争议关于数据库主键设计的一些原则与所采用的技术，园子中有大量的文章讨论，我选择两片具体代码性的文章，听棠.NET的数据库主键设计之思考和zhenyulu的小议数据库主键选取策略（原创）两篇文章。关于数据库主键设计的一些原则与所采用的技术，园子中有大量的文章讨论，我选择两片具体代码性的文章，数据库主键设计之思考与小议数据库主键选取策略（原创）两篇文章。在数据库主键设计之思考一文中，作者把数据库主键设计讲的很透彻，他也提出了主键设计与具体业务无关的论点： “我强调主键不应该具有实际的意义，这可能对于一些朋友来说不太认同，比如...

2017-11-13

614

阿里云中间件产品科技普惠企业，满足多场景需求

阿里云上的互联网中间件产品家族不久前又添了一名新成员，应用配置管理（ACM）的工具类产品。基于该产品，用户可以在微服务应用架构、分布式架构下的服务治理、应用业务场景动态推送、大数据实时计算算法调整、企业级互联网架构的异地多活等场景下极大地减轻配置管理的工作量，增强配置管理的服务能力，价格却只有传统架构的十分之一。ACM 产品是一款从 2008 年开始就开始使用并目前被大量应用于阿里内部应用配置管理的工具类产品，是阿里内部被众多应用最广泛依赖的中间件产品之一，在阿里内外众多核心场景有着广泛使用案例。一、微服务应用架构下的配置管理在微服务架构下，随着应用和机器数目的增多，配置（如DB_URL访问信息、服务连接池、服务内部缓存大小等）管理的工作会变得很繁琐。单个应用下多个机器的配置分发，应用对应用的配置依赖，都将成为挑战。在传统架构的应

2017-11-13

524

发表评论

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。