HA3、iGraph和DII服务框架统一之战
我们在多年的HA3开发工作当中,形成了一套高效的数据存储和管理方案,将其推广到其它业务场景(包括iGraph、DII服务的场景)后也取得了不错的效果。这篇文章首先介绍在典型的搜索场景,我们的在线数据存储和管理框架是如何发挥作用的,然后描述将这个框架推广到更多的业务场景的过程以及取得的收益。
1 搜索场景的特点
一般的搜索场景满足以下几个特点:
- 数据量大。doc数目达到几个Billion,总索引存储空间量超过几十TB是常见的事情。
* 访问量大。一个大型的搜索业务日pv上数十亿是很正常的压力。
* 数据更新量大。以主搜双11为例,excellent集群每秒的正排更新qps可达几十万每秒,如此大的更新量给在线服务引擎带来了很大的压力。
* 数据更新的时效性很高,需要到秒级以内。例如主搜场景,对某个宝贝的大量的用户点击行为应该能够