千亿级Mysql数据迁移mongodb成本节省及性能优化实践
线上某IOT核心业务集群之前采用mysql作为主存储数据库,随着业务规模的不断增加,mysql已无法满足海量数据存储需求,业务面临着容量痛点、成本痛点问题、数据不均衡问题等。 400亿该业务迁移mongodb后,同样的数据节省了极大的内存、CPU、磁盘成本,同时完美解决了容量痛点、数据不均衡痛点,并且实现了一定的性能提升。此外,迁移时候的mysql数据为400亿,3个月后的现在对应mongodb集群数据已增长到1000亿,如果以1000亿数据规模等比例计算成本,实际成本节省比例会更高。 当前国内很多mongod文档资料、性能数据等还停留在早期的MMAP_V1存储引擎,实际上从mongodb-3.x版本开始,mongodb默认存储引擎已经采用高性能、高压缩比、更小锁粒度的wiredtiger存储引擎,因此其性能、成本等优势相比之前的MMAP_V1存储引擎更加明显。 关于作者 前滴滴出行专家工程师,现任OPPO文档数据库mongodb负责人,负责数万亿级数据量文档数据库mongodb内核研发、性能优化及运维工作,一直专注于分布式缓存、高性能服务端、数据库、中间件等相关研...