Intel张建:优化Ceph效能的最佳实务技巧
2016年8月5日,全球开源领导厂商红帽携手ZD至顶网、Intel、云达科技共同举办的主题为“开放 融合 开源开启存储新世界”的2016年中国开源企业存储峰会在北京富力万丽酒店隆重召开。在下午峰会上,Intel亚太研发有限公司云存储技术组高级软件工程师张建先生带来题为“优化Ceph效能的最佳实务技巧”的主题演讲。
张建表示Intel一直来为Ceph进行优化效能,包括结合最新的3D Xpoint内存技术的性能加速,包括在实际应用中优化压缩,加密、硬件卸载以及RBD缓存和缓存分层的优化,通过IA优化的存储库最大限度的减少延迟。Intel还参与了很多开源项目,做了很多性能分析以及工具,针对特定应用场景的优化,通过这种方式促进Ceph的正当发展。
以下是嘉宾的演讲实录:
张建:大家好,我是来自于Intel亚太研发有限公司云存储技术组的张建,今天给大家分享一下在优化Ceph效能的最佳实务技巧。
首先我会自我介绍一下。下面我会结合背景为什么做Ceph的优化,做这个有什么意义以及怎么做。有通用的部署以及指南。然后有一些案例,包括块、对象以及密集研发过程中的工具,然后通过我一些的特殊工具能够达到什么样的程度,我欧合作在哪里以及未来的机会在哪里。最后做一下Ceph的介绍和SMMARY的介绍。
第一个介绍——Ceph at Intel。这些应用,其实我们在Optimize做了一些,主要是基于Intel平台。比如做Compression, Encryption hardware offloads (QAT、SOCs)。这是第一。
第二是PMStore(for 3D XPointDIMMs)。第三是RBDcaching and Cache tieringwith NVM。第四是IA optimized storage libraries to reduce latency。
第二块是做了很多性能分析以及工具,通过这种方式促进Ceph的正当发展,还有一些针对特定应用场景的优化。
接下来是一些尝试,会有管理工具,比如CDN, Cloud DVR, Video Surveillance, CephCloud Services, Analytics。
然后是基于Intel的产品,做一些开源项目,希望尽快地达成方案。
为什么要对Ceph做各种的优化?通过前面的嘉宾发言能够了解到。广大客户看中Ceph的是蔓延性。但从应用角度来看,有一些复杂的地方,比如怎么对硬件进行配置等,这些都有一些不确定性。另外,运营系统里需要对超系统本身做东西。另外在几百个参数里怎么获得我的参数,以满足我的需求。
在我们介绍的具体案例分享中,看看Intel所做的大会,吸引了400多个人参加,系统上非常好。但同时也存在一些问题,比如右边的图(图),前三个的问题在哪里?(图)第一个是Performance,第二个是code complexity。第三个是Stability。
根据这些问题,做了一些方案。这个图是Ceph的投资架构图。(见PPT图:Ceph—General Community Deployment Practices)(PPT图:Available Ceph solution recipes)(PPT图:Intel solutions for Ceph deployments)
下面是具体的案例,会从这几个方向分享一下我们针对特定的传统做的各种方法。一个是Ceph Tunings。接下来看一下Ceph Block performance。(见PPT图Ceph Blocr perfomance—Test Results)。通过右边的图可以看到,前面的分别可以达到86%和90%的带宽,有一定的优化空间在里面。左边是Drop OSD Cache—Prepare Data (dd)—Run FIO,1.40GB Span。2.4 IOs: Sequential (W,R), Random (W, R)。3.400s test。4.Scale RBD images –1 to 120。
(PPT图:Ceph Block Performance –Tuning effects)
基于前面做的,我们做了优化,数据…5%左右。第二个是把原来的关掉,比较明显,大概有59%。做一些red hat。所以我们会去做一些。
接下来一块是针对对象。在这个节点我们使用了我们自己开发的工具,这种规模比较下,希望100高一点。我们做了很多。后来还有一个best 。接下来是我们做的重点是现在群。这个方面,大家可以看到没有任何性能的保留。参数设得比较高,可以看到在今天的对比下可以非常显著地提高运营系统。
当然还有很多优化空间在里面。
最后一块是基于上面的架构,为了保存数据,还是要去。所以在数据分析上,需要写一个。
这是对比(图),我们看一下对比图,我们做的,现在观察到的结果,有两倍。当然还有好多优化的地方。
最后一部分是CeTune。
第二部分是COSBench,可以到做很多应用。
最后一个VSM,这是2014年做的开源,产品化以后,OpenStack* Paris summit, designed to help lower the barrier to adopt Ceph.会提供不同的界面,The project earns a lot of interests from community, a few companies decided to adopt in production.
所以,第一点是越来越独到了。第二通过前面的案例分析可以看到,需要优化。第三ceph开辟新的领域,但还需要优化,进一步发挥出来。最后和Intel一起合作共同努力。
好,谢谢大家!
原文发布时间为: 2016年8月7日
本文作者:任新勃
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
思科解读全数字化转型进阶之梯 5大核心价值护航企业转型
【51CTO.com原创稿件】全数字化转型已经成为全球范围讨论的热议话题,然而全数字化转型到底意味着什么?怎样能够通过全数字化转型让人们在工作、生活、学习和娱乐这四个方面都得到提高?什么才是客户真正需要的全数字化转型解决方案?近日,思科的两位高层,与媒体沟通了思科关于全数字化转型的观点和理念,并对上述大众关心的问题一一做了解答。 曹图强是思科全球副总裁,大中华区首席技术官,他首先表态,思科要打造的不是一个思科自己的王国,而是一个给所有人带来全数字化转型体验的全球生态链。“这是思科最大的价值,在这个方面思科是唯一的。” 思科关注重点:联接、安全与自动化 曹图强认为,人与人、人与物之间的交流,必须先有联接,产生数据。有了数据的传递,安全问题就成为重中之重。现在的大数据动辄就达到兆兆字节规模,如果没有一个自动化的流程、自动化的IT基础架构、以及完整的解决方案,无法实现大数据分析。不仅如此,要想做出最快、最好、最及时的数据分析,也离不开自动化的支持。因此,他将思科关注的重点分为三个领域: 一是数据与网络的联接。思科在几年前就提出了万物互联的概念,例如通过思科Jasper提供的技术,特斯拉汽车可...
- 下一篇
四大银行的CIO们如何看待大数据
中国建设银行 中国建设银行信息技术管理部资深经理林磊明 1、银行压力越来越大 从十二五走到十三五期间,银行业面临的各方面的压力越来越大,从我们的年报数字可以看出去年四大行的利润增长基本上趋近于零增长。在这样的情况下,我们怎样通过IT的引领提升传统银行的竞争力,这是摆在我们面前的一个很重要的课题。 2、过去十多年期间,银行业务出现两个拐点 大数据怎么样能够在智慧银行的方向上起到更大的作用呢? 通过银行的历程佐证这样一个观点。过去十多年期间银行基本上有两个拐点: 第一个拐点就是发生在互联网银行慢慢取代柜员,IT支持从支持几万十几万的柜员到支持面向所有的互联网客户,这里面发生了一个根本性的变化,无论是服务的形态还是IT的支撑,都发生了很根本的变化,这是移动和云要在里面发挥作用。 下一个拐点是什么?银行要从原来做的账务性的、交易性的处理转向能够渗透到经济生活的方方面面,这是一个场景化,如果抓不住这个拐点,银行就要被互联网金融颠覆或者管道化。 3、三大互联网渠道已建立,具备大数据基础 这几年银行三大互联网渠道已经建立: 手机银行,已达到1.8亿多 网上银行,我们有2亿 微信银行,它占的客服服务总...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- 设置Eclipse缩进为4个空格,增强代码规范
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS7设置SWAP分区,小内存服务器的救世主
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- MySQL8.0.19开启GTID主从同步CentOS8
- Linux系统CentOS6、CentOS7手动修改IP地址
- Windows10,CentOS7,CentOS8安装Nodejs环境
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- CentOS7,8上快速安装Gitea,搭建Git服务器