LC3|视角 开源大数据生态下的高性能分布式文件系统

背景介绍

盘古是阿里云自主研发的高可靠、高可用、高性能分布式文件系统，距今已经有将近10年的历史。盘古1.0作为阿里云的统一存储核心，稳定高效的支撑着阿里云ECS、NAS、OSS、OTS、ODPS、ADS等多条业务线的迅猛发展。但最近几年，基于如下两方面的原因，盘古还是重新设计实现了第二代存储引擎盘古2.0，其不只为阿里云，也为集团、蚂蚁金服的多种业务提供了更佳优异的存储服务

底层硬件的快速发展

最近两三年时间，分布式存储相关硬件的性能爆发式提升

• 存储介质经历了HDD、SATA SSD及NVME SSD的快速进化，IOPS提高了两个数量级，latency降低了两个数量级，4K顺序写性能低至7us，内存接口的optane存储即将进入ns时代
• 网络从千兆网、万兆网飞速发展到了25G、40G、50G甚至100G级别。网络一跳的耗时低至5us

底层硬