搜索和推荐统一存储层的新进展和思考
我们在2017年统一了搜索和推荐场景下的HA3、iGraph、RTP和DII四大引擎的存储层(参见统一之战),帮助它们取得了的更迅速的迁移能力、更快速的数据恢复能力和更丰富的数据召回能力。 最近一年来,我们在统一的存储框架上又做了进一步的演进,下面将分别从架构、Build服务以及存储模型角度介绍我们的新进展和思考。 1.架构 在我们的传统架构(参见统一之战)中,Build 服务产出索引后,分发工具dp2将新产生的索引分发到各个searcher的本地磁盘上,同列多行的searcher之间采用链式分发。一个业务的数据量越大,它需要的索引分发时间越大。比如iGraph上的推荐业务和基于HA3的Open Search上的搜索业务,数据量经常是内存量的4-5倍,单个searcher容器需要的索引动辄在200G甚至300G以上,将索引分发到本
