记十亿级Es数据迁移mongodb成本节省及性能优化实践
某智能产品业务数据之前存储在Elasticsearch(Es)中,磁盘占用约30T(按照单副本计算),总数据量25亿,按照不同业务分类分别存在于不同表中。迁移前,业务存在较严重的性能及成本问题,当前业务已经迁移部分数据到mongodb中,迁移后效果明显,成本实现十倍级节省,业务抖动问题也得以解决。 当前我司已有数百亿Es数据迁移mongodb,同时也有数百亿mongodb迁移Es,根本原因业务就是选型错误引起。 本文以该场景业务迁移作为案例,主要分享以下方面的内容: mongodb适用场景及不适用场景 mongodb和Es各自优势 mongodb和Es同样数据,真实磁盘消耗对比 对《从MongoDB迁移到ES后,我们减少了80%的服务器》一文的一些不同看法 没有万能的数据库,本文最后会总结mongodb和Es各自的适用场景,以客观立场分析评价mongodb和Es,拒绝“捧一个,踩一个”。 Es绝对是一款优秀的搜索引擎,在模糊匹配、全文搜索、复杂检索等方面相比mongodb拥有更大的优势。 本文对应业务场景查询比较简单,查询更新等条件都是固定字段,不涉及复杂...
