您现在的位置是:首页 > 文章详情

如何找到存在Ceph里面的文件

日期:2017-03-08点击:550

前段时间群友有人问,怎么能找到存在Ceph里面的文件呢,我说为什么要这样问,他说要给领导演示下Ceph的高可用,某个节点down掉之后不影响数据丢失。下面针对于这个前提,做了如下实验,感兴趣的可以试试。

 

在开始之前先科普下Ceph的基本概念知识。

 

wKiom1i_0BuBNjxBAAHa0Vy1j-U106.png-wh_50

一张非常经典的寻址图,下面来继续探索Ceph的寻址流程,首先介绍下寻址流程中用到的几个概念。


File——此处的file就是用户需要存储或者访问的文件。对于一个基于Ceph开发的对象存储应用而言,这个file也就对应于应用中的对象,也就是用户直接操作的对象


Ojbect——处的objectRADOS所看到的对象Object与上面提到的file的区别是,object的最大sizeRADOS限定(通常为2MB4MB),以便实现底层存储的组织管理。因此,当上层应用向RADOS存入size很大的file时,需要将file切分成统一大小的一系列object(最后一个的大小可以不同)进行存储。为避免混淆,在本文中将尽量避免使用中文的对象这一名词,而直接使用fileobject进行说明。


PGPlacement Group)——顾名思义,PG的用途是对object的存储进行组织和位置映射。具体而言,一个PG负责组织若干个object(可以为数千个甚至更多),但一个object只能被映射到一个PG中,即,PGobject之间是一对多映射关系。同时,一个PG会被映射到nOSD上,而每个OSD上都会承载大量的PG,即,PGOSD之间是多对多映射关系。在实践当中,n至少为2,如果用于生产环境,则至少为3。一个OSD上的PG则可达到数百个。事实上,PG数量的设置牵扯到数据分布的均匀性问题。关于这一点,下文还将有所展开。


OSD —— object storage deviceOSD的数量事实上也关系到系统的数据分布均匀性,因此其数量不应太少。在实践当中,至少也应该是数十上百个的量级才有助于Ceph系统的设计发挥其应有的优势。


Failure domain ——就是故障域。 

 

好了,理论看完了,下面开始实操。

大概的顺序就是

创建File、将File写入到Object里面然后存到Pool里面,最终映射到PG和OSD上,跟上面的图类似。


下面来验证下,可以看到我创建了个devin.txt,里面有一些英文内容,接着可以看到数据最终是存在了OSD1和OSD2上面,并且在OSD1中找到了我的文件。

wKiom1i_ztHTf0oDAACaZCsIGbY372.pngwKiom1i_zwqANgIXAAC4aWa3XMY331.png


下面我down掉了一个OSD2所在的节点。可以看到我的ceph-node2上的OSD已经全部down掉了。

wKioL1i_zzrQJNQQAAD1kKGr1f4150.png


可以看到我的文件数据已经rebalance到了OSD5上

wKiom1i_zznSbTxQAAE8oXZqxtE223.png

wKiom1i_zzrwtZHxAABcai-qM5I821.png


OK.小实验验证完毕,感兴趣的可以玩玩。

原文链接:https://blog.51cto.com/devingeng/1904440
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章